DynamicVLA: มหาวิทยาลัยเทคโนโลยีหนานหยางทำลายข้อจำกัดการควบคุมหุ่นยนต์แบบไดนามิก บรรลุการตอบสนองแบบเรียลไทม์ที่ “คิดและทำไปพร้อมกัน”

เมื่อวัตถุกำลังกลิ้ง เลื่อน หรือถูกกระแทกให้ลอยไป หุ่นยนต์ยังคงทำนายการกระทำจากหลายร้อยมิลลิวินาทีก่อน

สำหรับโลกที่มีพลวัต ความล่าช้านี้มักหมายถึงความล้มเหลว

ในช่วงหลายปีที่ผ่านมา โมเดล Vision-Language-Action (VLA) ได้กลายเป็นจุดสนใจในสาขาหุ่นยนต์ โมเดลประเภทนี้สามารถ “มองเห็น” ภาพ “เข้าใจ” คำสั่งภาษา และส่งออกการกระทำต่อเนื่องโดยตรง ก้าวหน้าไปอย่างมากในงานจัดการแบบตั้งโต๊ะ เช่น การหยิบจับและการวางวัตถุในสภาพแวดล้อมคงที่

อย่างไรก็ตาม ปัญหาที่ถูกละเลยมานานคือ — โลกแห่งความเป็นจริงแทบจะไม่เคยอยู่นิ่งเลย เมื่อวัตถุเริ่มเคลื่อนที่ เร่งความเร็ว ชนกัน หรือเปลี่ยนวิถี โมเดล VLA หลักในปัจจุบันมักจะแสดงอาการตอบสนองช้า การกระทำไม่ตรงกับสถานการณ์ หรือแม้แต่ล้มเหลวโดยสิ้นเชิง

รากเหง้าของปัญหาไม่ได้อยู่ที่โมเดลไม่ฉลาดพอ แต่คือ: พวกมันตามเวลาไม่ทัน

เมื่อเร็วๆ นี้ ทีมวิจัยจาก S-Lab มหาวิทยาลัยเทคโนโลยีหนานหยาง ได้เสนอ DynamicVLA งานวิจัยนี้เป็นครั้งแรกที่พิจารณาอย่างเป็นระบบและมุ่งแก้ไขปัญหาที่ยังขาดหายไปในระยะยาว นั่นคือการจัดการวัตถุที่มีพลวัต (Dynamic Object Manipulation) ในสามระดับ: โครงสร้างโมเดล กลไกการอนุมาน และระบบข้อมูล

• ลิงก์บทความวิจัย: https://arxiv.org/abs/2601.22153
• ลิงก์โครงการ: https://haozhexie.com/project/dynamic-vla/
• ลิงก์ GitHub: https://github.com/hzxie/DynamicVLA

ทำไม “การจัดการแบบพลวัต” ถึงยากสำหรับโมเดล VLA?

ในสถานการณ์คงที่ โมเดล VLA มักจะปฏิบัติตามกระบวนการ “รับรู้ → อนุมาน → สร้างชุดการกระทำ → ดำเนินการจนเสร็จ → อนุมานอีกครั้ง” เมื่อสภาพแวดล้อมไม่เปลี่ยนแปลง วิธีนี้สามารถทำงานได้ดี แต่ทันทีที่วัตถุเริ่มเคลื่อนไหว กระบวนการนี้ก็ล้มเหลวอย่างรวดเร็ว

กุญแจสำคัญของปัญหาไม่ได้อยู่ที่ความสามารถของโมเดลไม่เพียงพอ แต่โครงสร้างทางเวลาของมันเองไม่เหมาะกับโลกที่มีพลวัต ซึ่งแสดงให้เห็นในสองด้านหลัก:

1. การไม่ตรงกันของเวลาในการรับรู้และการดำเนินการ: เนื่องจากการอนุมานมีความล่าช้าโดยหลีกเลี่ยงไม่ได้ เมื่อโมเดลตัดสินใจเสร็จ สถานะของวัตถุก็เปลี่ยนแปลงไปแล้ว ส่งผลให้การกระทำ “ล่าช้ากับความเป็นจริง” โดยธรรมชาติ
2. การรอคอยการแบ่งส่วนการกระทำ: โมเดล VLA ส่วนใหญ่ต้องรอให้ชุดการกระทำก่อนหน้าดำเนินการเสร็จสิ้นก่อน จึงจะเริ่มการอนุมานครั้งต่อไปได้ ทำให้หุ่นยนต์อยู่ในสถานะไล่ตามอย่างตั้งรับในสภาพแวดล้อมพลวัต

การซ้อนทับของสองปัญหานี้ ทำให้แม้แต่โมเดล VLA ที่ทำงานได้ดีในงานคงที่ ก็ยากที่จะรับมือกับการจัดการแบบพลวัตในโลกแห่งความเป็นจริง

แนวคิดหลักของ DynamicVLA: ทำให้หุ่นยนต์ “คิดไปทำไป”

DynamicVLA ไม่ได้เลือกที่จะ “ทำนายอนาคตที่ไกลออกไป” โดยการขยายโมเดลให้ใหญ่ขึ้น แต่กลับออกแบบระบบใหม่โดยรอบปัญหาพื้นฐานมากขึ้น: ในสถานการณ์ที่ความล่าช้าในการอนุมานไม่สามารถกำจัดได้ จะรับประกันได้อย่างไรว่าการกระทำที่หุ่นยนต์ดำเนินการยังคงสอดคล้องกับสถานะของโลกในปัจจุบัน?

เพื่อจุดประสงค์นี้ DynamicVLA ได้เสนอการออกแบบเฉพาะทางในสามระดับ: กลไกการอนุมาน กลยุทธ์การดำเนินการ และโครงสร้างโมเดล

1. การอนุมานต่อเนื่อง: ทำให้การอนุมานและการดำเนินการไม่ต้องรอคอยกันอีกต่อไป
ใน VLA แบบดั้งเดิม การอนุมานและการดำเนินการเป็นไปตามลำดับอย่างเคร่งครัด ในขณะที่กลไกการอนุมานต่อเนื่องอนุญาตให้โมเดลเริ่มการอนุมานรอบใหม่ได้ แม้ว่าชุดการกระทำก่อนหน้าจะยังดำเนินการไม่เสร็จสิ้น จึงแก้ปัญหาการตอบสนองล่าช้าจาก “การรอคอยการแบ่งส่วนการกระทำ” ได้ สิ่งนี้ทำให้การอนุมานและการดำเนินการกลายเป็นไปแบบสายการผลิต (pipeline) หุ่นยนต์ไม่มีช่วงว่างที่ “ต้องรอให้การกระทำเสร็จสิ้นก่อนจึงจะคิดต่อ” อีกต่อไป แต่มีกระแสการทำนายการกระทำที่อัปเดตอย่างต่อเนื่อง

2. กระแสการกระทำรับรู้แฝง: ซ่อมแซมการไม่ตรงกันของเวลาจากความล่าช้าในการอนุมาน
แม้จะใช้การอนุมานต่อเนื่อง ความล่าช้าในการอนุมานเองก็ยังคงอยู่ ซึ่งหมายความว่าการสังเกตที่โมเดลใช้สร้างการกระทำ มักจะล้าสมัยไปแล้วเมื่อเทียบกับโลกแห่งความเป็นจริง กลไกกระแสการกระทำรับรู้แฝงถูกออกแบบมาเพื่อแก้ไข “การไม่ตรงกันของเวลาในการรับรู้และการดำเนินการ” โดยมีแก่นหลักคือ: ทิ้งการกระทำที่ “ล้าสมัย” เนื่องจากความล่าช้าในการอนุมานอย่างชัดเจน ดำเนินการเฉพาะการทำนายที่ยังคงสอดคล้องกับสถานะสภาพแวดล้อมในปัจจุบันในเชิงเวลา และเมื่อมีการทำนายใหม่เข้ามา ให้ใช้การกระทำที่ใหม่กว่าและใกล้เคียงกับสถานะปัจจุบันมากกว่าเป็นลำดับแรก

3. โครงสร้าง VLA ที่เบาและออกแบบมาสำหรับพลวัต
การทำงานที่มีประสิทธิภาพของกลไกข้างต้นขึ้นอยู่กับความล่าช้าในการอนุมานที่ต่ำพอ ดังนั้น DynamicVLA จึงใช้โครงสร้างที่เบาและออกแบบมาเฉพาะสำหรับการจัดการแบบพลวัต: ใช้ตัวเข้ารหัสภาพแบบคอนโวลูชันเพื่อหลีกเลี่ยงการระเบิดของโทเค็นเมื่อป้อนข้อมูลหลายเฟรม ตัดจำนวนชั้นของโมเดลภาษาลงเพื่อสร้างสมดุลระหว่างความเร็วและความสามารถในการเข้าใจ ขนาดโมเดลโดยรวมถูกควบคุมที่ประมาณ 0.4B พารามิเตอร์

ช่องว่างหลักของข้อมูลการจัดการพลวัต: จากแบบจำลองสู่โลกแห่งความเป็นจริง

ในปัจจุบัน ไม่ว่าจะเป็นในด้านแบบจำลองหรือหุ่นยนต์จริง ชุดข้อมูล VLA หลักเกือบทั้งหมดมุ่งเน้นไปที่การดำเนินการแบบคงที่ ในขณะที่การครอบคลุมอย่างเป็นระบบของการโต้ตอบกับวัตถุพลวัตยังคงขาดหายไป อคติเชิงโครงสร้างของข้อมูลนี้จำกัดความสามารถในการปรับใช้ทั่วไปของ VLA ในสภาพแวดล้อมพลวัตจริงโดยตรง

ในด้านแบบจำลอง DynamicVLA สร้างชุดข้อมูลการจัดการพลวัตขนาดใหญ่บนพื้นฐานของ Isaac Sim ครอบคลุมมากกว่า 2800 ฉาก วัตถุ 206 ชนิด สร้างข้อมูลแบบจำลองพลวัตที่หลากหลายและควบคุมได้ผ่านรูปแบบการเคลื่อนไหวและการโต้ตอบของวัตถุที่หลากหลาย ซึ่งเป็นพื้นฐานการฝึกแบบพลวัตอย่างเป็นระบบให้กับโมเดล

ในทางตรงกันข้าม การรวบรวมข้อมูลพลวัตในโลกแห่งความเป็นจริงต้องเผชิญกับความท้าทายมหาศาล: วัตถุพลวัตเคลื่อนที่เร็ว เวลาตอบสนองของมนุษย์ในการควบคุมระยะไกลไม่เพียงพอ และการได้มาซึ่งคำอธิบายประกอบตำแหน่ง 6D และความเร็วคุณภาพสูงแบบเรียลไทม์ทำได้ยาก ทำให้ข้อมูลการจัดการพลวัตจริงในระดับใหญ่และทำซ้ำได้ยังคงขาดหายไป

วิธีแก้ปัญหาของ DynamicVLA ไม่ใช่การบังคับควบคุมระยะไกล แต่คือการ “ทำให้โลกแห่งความเป็นจริงเป็นอินเทอร์เฟซแบบจำลอง”: ติดตามการเคลื่อนไหวของวัตถุแบบเรียลไทม์ผ่านการรับรู้ RGB หลายมุมมอง ประมาณการตำแหน่ง 6D และความเร็วของวัตถุแบบออนไลน์ ทำให้สภาพแวดล้อมจริงเป็นนามธรรมเป็นอินพุตสถานะที่เหมือนกับแบบจำลอง จึงสามารถนำกลไกสถานะและตรรกะควบคุมชุดเดียวกันมาใช้ซ้ำได้โดยตรง

เกณฑ์มาตรฐานการจัดการพลวัตชุดแรก: DOM Benchmark

บนพื้นฐานระบบข้อมูลอัตโนมัติดังกล่าว ทีมวิจัยได้สร้างเกณฑ์มาตรฐานการจัดการวัตถุพลวัตเพิ่มเติม นี่เป็นเกณฑ์มาตรฐานการประเมินเชิงระบบชุดแรกที่ออกแบบมาเฉพาะสำหรับการจัดการวัตถุพลวัต

ต่างจากการประเมินแบบคงที่ในอดีตที่เน้น “งานสำเร็จหรือไม่” DOM Benchmark เริ่มจากแก่นแท้ของการจัดการพลวัต แบ่งความสามารถออกเป็น 3 มิติหลัก 9 มิติย่อย:

1. ความสามารถในการโต้ตอบ: ประเมินความสามารถในการควบคุมและตัดสินใจแบบเรียลไทม์ของหุ่นยนต์ภายใต้การเคลื่อนไหวต่อเนื่องของวัตถุ
   • การตอบสนองแบบวงปิด: ความสามารถในการตอบสนองทันทีต่อความเร็วการเคลื่อนไหวที่ต่างกัน
   • การปรับตัวต่อพลวัต: ความสามารถในการปรับตัวอย่างรวดเร็วหลังจากเหตุการณ์ไม่คาดฝัน เช่น การชน การเปลี่ยนทิศทาง
   • ลำดับขั้นตอนระยะยาว: ความสามารถในการรักษาความสม่ำเสมอของกลยุทธ์ในการโต้ตอบพลวัตเป็นเวลานาน
2. การรับรู้และความเข้าใจ: ประเมินความสามารถในการเข้าใจหลายรูปแบบของโมเดลในสถานการณ์พลวัต
   • ความเข้าใจทางภาพ: ความสามารถในการแยกแยะวัตถุที่มีลักษณะคล้ายคลึงกัน
   • การให้เหตุผลเชิงพื้นที่: ความสามารถในการเข้าใจความสัมพันธ์เชิงพื้นที่และตำแหน่งสัมพัทธ์
   • การรับรู้การเคลื่อนไหว: ความสามารถในการรับรู้และตัดสินสถานะการเคลื่อนไหวของวัตถุ (ความเร็ว ทิศทาง)
3. การปรับใช้ทั่วไปและความแข็งแกร่ง: ประเมินความเสถียรของโมเดลภายใต้เงื่อนไขพลวัตนอกการกระจาย
   • การปรับใช้ทั่วไปทางภาพ: ความสามารถในการปรับตัวต่อวัตถุและฉากใหม่ที่ยังไม่เคยเห็น
   • การปรับใช้ทั่วไปทางการเคลื่อนไหว: ความสามารถในการรับมือกับช่วงความเร็วและรูปแบบการเคลื่อนไหวใหม่
   • ความแข็งแกร่งต่อการรบกวน: ความสามารถในการรักษาการควบคุมที่เสถียรภายใต้การรบกวนจากภายนอก

DOM Benchmark แสดงให้เห็นว่า DynamicVLA นำหน้าอย่างชัดเจนในด้านความสามารถที่เกี่ยวข้องกับการโต้ตอบพลวัต แต่ยังมีข้อบกพร่องที่เห็นได้ชัดในด้านความเข้าใจการรับรู้และความแข็งแกร่งต่อการรบกวน ข้อจำกัดนี้มาจากโครงสร้างโมเดลขนาดเล็กที่เลือกใช้เพื่อรับประกันความเร็วแบบเรียลไทม์ วิธีการสร้างสมดุลที่ดีขึ้นระหว่างความเร็วในการตอบสนองและความสามารถในการอนุมานเป็นทิศทางการวิจัยที่สำคัญสำหรับโมเดล Vision-Language-Action ในการจัดการพลวัต

ผลการทดลอง: การนำหน้าอย่างขาดลอยในโลกพลวัต

ในการทดลองแบบจำลองและหุ่นยนต์จริง DynamicVLA นำหน้าวิธีการที่มีอยู่เดิมอย่างชัดเจนในหลายมิติ

ความหมายของ DynamicVLA: หุ่นยนต์เริ่ม “อยู่ในเวลา” จริงๆ

DynamicVLA ส่งสัญญาณที่ชัดเจน: แก่นกลางของความฉลาดของหุ่นยนต์รุ่นต่อไป ไม่ใช่แค่ “มองเห็นโลก” แต่คือการตอบสนองอย่างถูกต้องแบบเรียลไทม์ในกระบวนการที่โลกเปลี่ยนแปลงอย่างต่อเนื่อง

จากการอนุมานต่อเนื่อง กระแสการกระทำรับรู้แฝง ไปจนถึงเครื่องจำลองโลกแห่งความเป็นจริง DynamicVLA ได้จัดเตรียมกรอบระบบที่สามารถทำซ้ำและขยายได้สำหรับการจัดการพลวัต

ติดตาม “Whale Habitat” Mini Program เพื่อรับข่าวสาร AI ล่าสุด

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง