ละทิ้งความซ้ำซ้อนของพิกเซล HiF-VLA ใช้เวกเตอร์การเคลื่อนที่เพื่อสร้างความก้าวหน้าในการใช้เหตุผลเชิงกายภาพสำหรับงานระยะยาวของหุ่นยนต์

ปัญญาประจำกาย (Embodied Intelligence) จะนำไปใช้งานในสภาพแวดล้อมที่ซับซ้อนได้จริง จำเป็นต้องอาศัยการดำเนินงานที่มีเสถียรภาพในงานระยะยาว (Long-horizon tasks) แต่โมเดล VLA (Vision-Language-Action) ที่มีอยู่ในปัจจุบันส่วนใหญ่ยังคงอยู่ในขั้นตอน “การเลียนแบบการกระทำ” ขาดความเข้าใจอย่างลึกซึ้งเกี่ยวกับการเปลี่ยนแปลงแบบไดนามิกของโลกทางกายภาพ และมักจะเกิดความสับสนเชิงเหตุและผลในการปฏิบัติงานระยะยาว ในขณะเดียวกัน วิธีการดั้งเดิมที่ใช้การซ้อนภาพหลายเฟรมโดยตรงเพื่อนำมิติเวลามาใช้ ไม่เพียงแต่จะทำให้เกิดความซ้ำซ้อนของพื้นหลังที่คงที่จำนวนมาก แต่ยังทำให้เกิดความล่าช้าในการอนุมานและหน่วยความจำล้นที่ร้ายแรงอีกด้วย

เพื่อรับมือกับความท้าทายเหล่านี้ ทีมวิจัยจากมหาวิทยาลัย西湖 มหาวิทยาลัยเจ้อเจียง หุ่นยนต์西湖 และสถาบันอื่นๆ ได้เสนอกรอบการทำงานการให้เหตุผลเชิงพื้นที่-เวลาสองทิศทางแบบใหม่ที่เน้นการเคลื่อนไหว (Motion) เป็นหลัก ชื่อว่า HiF-VLA กรอบการทำงานนี้ละทิ้งการป้อนข้อมูลระดับพิกเซลที่ซ้ำซ้อน ดึงเวกเตอร์การเคลื่อนไหว (Motion) ที่มีขนาดกะทัดรัดและต่ำออกมาเป็นความรู้ล่วงหน้าแบบไดนามิก และในโมดูล “ผู้เชี่ยวชาญร่วม” (Joint Expert) ที่เป็นนวัตกรรมใหม่ จะทำการคาดการณ์การเคลื่อนไหวทางภาพในอนาคตและการสร้างลำดับการกระทำที่มีความแม่นยำสูงพร้อมกัน

เมื่อเปรียบเทียบกับกระบวนทัศน์การสร้างแบบจำลองเชิงพื้นที่-เวลาแบบดั้งเดิม HiF-VLA ขจัดสัญญาณรบกวนพื้นหลังทางภาพที่ไร้ประโยชน์อย่างสิ้นเชิง ไม่เพียงแต่รักษาความล่าช้าในการอนุมานที่คงที่และต่ำมากภายใต้หน้าต่างการสังเกตประวัติศาสตร์ที่ยาวนานเท่านั้น แต่ยังมอบสัญชาตญาณทางกายภาพที่แท้จริงให้กับหุ่นยนต์ในการ “คิดไปพร้อมกับการกระทำ” ในการประเมินงานระยะยาว เช่น CALVIN และ LIBERO-LONG อัตราความสำเร็จของมันเหนือกว่าวิธีการ SOTA ที่มีอยู่อย่างมีนัยสำคัญ ซึ่งเปิดเส้นทางใหม่สำหรับการสร้าง WAM (World Action Model) ที่เข้าใจกฎการทำงานของโลกอย่างแท้จริง

ปัจจุบัน งานนี้ได้รับการตอบรับให้ตีพิมพ์ใน CVPR 2026 และโค้ดได้เปิดเป็นโอเพนซอร์สแล้ว

• ที่อยู่บทความ: HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
• ลิงก์บทความ: https://arxiv.org/abs/2512.09928
• หน้าโครงการ: https://hifvla.github.io/
• โค้ด: https://github.com/OpenHelix-Team/HiF-VLA

01 แรงจูงใจในการวิจัย:
จาก “การเลียนแบบการกระทำ” สู่ “การเข้าใจโลกทางกายภาพ”

โมเดล VLA (Vision-Language-Action) กระแสหลักในปัจจุบัน โดยพื้นฐานแล้วส่วนใหญ่เป็น “การเลียนแบบการกระทำ” ขั้นสูง พวกมันรับการสังเกตภาพในปัจจุบันและแมปไปยังการกระทำที่เกี่ยวข้องโดยตรง

กระบวนทัศน์นี้ใช้ได้ในงานระยะสั้น แต่กลับล้มเหลวบ่อยครั้งในการปฏิบัติงานระยะยาว ทำไม? เพราะโมเดลขาดความเข้าใจเกี่ยวกับ “การเปลี่ยนแปลงแบบไดนามิก” ของโลกทางกายภาพ พวกมันไม่รู้ว่าตัวเองเพิ่งทำอะไรไป และไม่สามารถคาดเดาได้ว่าการกระทำปัจจุบันจะส่งผลกระทบต่อสิ่งแวดล้อมอย่างไร ทำให้เกิดความสับสนเชิงเหตุและผลได้ง่าย

เพื่อทำลาย “คำสาประยะสั้น” นี้ โมเดลต้องก้าวจาก “การเลียนแบบการกระทำ” ไปสู่ “ความเข้าใจทางกายภาพ” ซึ่งจำเป็นต้องนำแนวคิดของ World Action Model (WAM) มาใช้ นั่นคือ ตัวแทนไม่เพียงแต่ต้อง “ทำ” ได้ แต่ยังต้อง “คิด” (จำลองการเปลี่ยนแปลงของสภาพแวดล้อม) ในใจได้ด้วย

จะ赋予หุ่นยนต์ความสามารถในการให้เหตุผลเชิงพื้นที่-เวลาแบบ “คิดไปพร้อมกับการกระทำ” ได้อย่างไร? แนวคิดที่ตรงไปตรงมาที่สุดคือการยัดภาพในอดีตและอนาคตทั้งหมดเข้าไปในโมเดลขนาดใหญ่ แต่ความจริงนั้นโหดร้าย: การสร้างแบบจำลองเชิงพื้นที่-เวลาในระดับภาพไม่เพียงแต่ทำให้เกิดการระเบิดของพลังการคำนวณ แต่ยังทำให้เกิดความซ้ำซ้อนของพื้นหลังคงที่จำนวนมาก ทำให้การเปลี่ยนแปลงทางกายภาพที่สำคัญถูกกลบหายไป ทีม HiF-VLA พบจุดเริ่มต้นที่มีประสิทธิภาพ: การเคลื่อนไหว (Motion)

02 แนวทางหลัก:
การให้เหตุผลเชิงพื้นที่-เวลา “สามในหนึ่งเดียว” ของ HiF-VLA

เมื่อเปรียบเทียบกับพิกเซลที่ซ้ำซ้อน การเคลื่อนไหว (Motion) เป็นการแสดงลักษณะที่บริสุทธิ์ มีประสิทธิภาพ และเป็นแก่นสารที่สุดในการจับการเปลี่ยนแปลงแบบไดนามิกของโลกทางกายภาพ โดยมี Motion เป็นศูนย์กลาง HiF-VLA ได้สร้างกรอบการทำงานการให้เหตุผลเชิงพื้นที่-เวลาสองทิศทางที่เรียกว่า Hindsight-Insight-Foresight (HiF)

1. Hindsight (การมองย้อนหลัง): “จุดยึดความทรงจำ” ที่打破สมมติฐานของ Markov

ตัวแทนต้องมีจิตสำนึกในตนเองที่ต่อเนื่อง HiF-VLA จะแยกเฟรมประวัติศาสตร์ในอดีตของหุ่นยนต์ผ่านตัวเข้ารหัส-ถอดรหัสวิดีโอ (H.264, MPEG-4 ฯลฯ) เพื่อให้ได้ความรู้ล่วงหน้าแบบไดนามิกของ Motion ที่มีมิติต่ำและกะทัดรัด ซึ่งเปรียบเสมือนการ植入ศูนย์ความจำให้กับหุ่นยนต์ โดยไม่ต้องย้อนดูวิดีโอในอดีต มันก็สามารถรับรู้ได้อย่างแม่นยำว่า “สภาพแวดล้อมเพิ่งผ่านการเปลี่ยนแปลงการเคลื่อนไหวแบบใด” บริบทประวัติศาสตร์นี้เป็นรากฐานสำหรับการให้เหตุผลทั้งหมดที่ตามมา

2. Insight (การหยั่งรู้ปัจจุบัน) และ Foresight (การมองการณ์ไกล): สู่ “มุมมองรอบรู้” ของ WAM

ความฉลาดที่แท้จริง ต้องทั้งหยั่งรากในปัจจุบันและคาดการณ์อนาคต ในกรอบการทำงาน HiF-VLA ความสามารถทั้งสองนี้ถูกแยกออกจากกันอย่างสมบูรณ์แบบและเชื่อมโยงกันอย่างใกล้ชิด ซึ่งร่วมกันเป็นแกนหลักในการก้าวไปสู่ WAM (World Action Model):

• Insight (การหยั่งรู้ปัจจุบัน): รับผิดชอบในการวิเคราะห์คำสั่งภาษาและการสังเกตภาพแบบเรียลไทม์ในปัจจุบันอย่างลึกซึ้ง ทำให้หุ่นยนต์รับรู้ว่า “ฉันกำลังเผชิญกับสภาพแวดล้อมแบบใดในขณะนี้ และต้องบรรลุเป้าหมายเฉพาะอะไร”
• Foresight (การมองการณ์ไกล): จาก Insight ในปัจจุบัน ขณะที่ HiF-VLA ส่งออกการกระทำ มันจะคาดการณ์แนวโน้มการเคลื่อนไหวในอนาคตเบื้องต้น ซึ่งเปรียบเสมือนการฝังเครื่องจำลองทางกายภาพเสมือนไว้ภายในโมเดล ทำให้หุ่นยนต์สามารถจำลองผลลัพธ์ของการกระทำของตัวเองล่วงหน้าได้

3. การจัดตำแหน่งเชิงลึก: การคาดการณ์ร่วมระหว่างภาพและการกระทำ

นี่คือนวัตกรรมที่สำคัญและโดดเด่นที่สุดของ HiF-VLA นั่นคือ ผู้เชี่ยวชาญร่วมที่ปรับเปลี่ยนด้วยประวัติศาสตร์ (Hindsight-modulated joint expert) หาก Hindsight และ Foresight ยืดแกนเวลา โมดูลผู้เชี่ยวชาญร่วมจะเปลี่ยนเป้าหมายการสร้างของโมเดล HiF-VLA เชื่อว่าการแยกภาพและการกระทำออกจากกันเป็นอุปสรรคที่ขัดขวางไม่ให้โมเดลเข้าใจกฎทางกายภาพ ดังนั้น โมดูลผู้เชี่ยวชาญร่วมที่ออกแบบขึ้นจึงไม่ใช่แค่การต่อคุณลักษณะภาพและคำสั่งภาษาเข้าด้วยกันอย่างง่ายดาย แต่ดำเนินกลยุทธ์ความร่วมมือแบบสองเป้าหมาย:

• การคาดการณ์ Motion ทางภาพ + การสร้างลำดับการกระทำ: ภายใต้การปรับเปลี่ยนแบบไดนามิกของข้อมูลประวัติศาสตร์ (Hindsight) ผู้เชี่ยวชาญร่วมถูกบังคับให้ส่งออกทั้งการคาดการณ์ Motion ทางภาพในอนาคตและลำดับการกระทำที่มีความแม่นยำสูงพร้อมกัน
• ทำไมสิ่งนี้จึงสำคัญ? การจัดตำแหน่งร่วมแบบสองเป้าหมายนี้ บังคับให้โมเดลไม่สามารถท่องจำการกระทำแบบท่องจำได้ แต่ต้องเข้าใจว่า “หลังจากที่ฉันส่งออกการกระทำนี้ การแสดงลักษณะทางภาพของโลกทางกายภาพจะเกิดการเปลี่ยนแปลงแบบไดนามิกอย่างไร”

โดยการผูก “การคาดการณ์การเปลี่ยนแปลงทางภาพในอนาคต (คิด)” เข้ากับ “การวางแผนลำดับการกระทำ (ทำ)” อย่างลึกซึ้ง HiF-VLA บรรลุการ Think-while-acting (คิดไปพร้อมกับการกระทำ) ที่แท้จริง มันไม่ได้เลียนแบบวิถีของผู้เชี่ยวชาญอย่างสุ่มสี่สุ่มห้าอีกต่อไป แต่สร้าง “สัญชาตญาณทางกายภาพ” ที่แท้จริงขึ้นมา

03 ผลการทดลอง

❓ Q1: HiF-VLA เปรียบเทียบกับโมเดล VLA แบบ SOTA อย่างไร?

💡 HiF-VLA แสดงให้เห็นถึงความสามารถที่แข็งแกร่งในงานระยะสั้นและระยะยาวที่หลากหลาย

ทีมงานให้ความสำคัญเป็นพิเศษกับประสิทธิภาพของ HiF-VLA ในงานระยะยาว ในชุดงาน LIBERO-LONG และการประเมินงานระยะยาว CALVIN ABC-D ประสิทธิภาพของ HiF-VLA เหนือกว่าวิธีการ SOTA หลายวิธีอย่างมีนัยสำคัญ ในขณะเดียวกัน ในการทดสอบงานระยะยาวในโลกจริง HiF-VLA ก็แสดงประสิทธิภาพการทำงานที่เสถียรและเหนือกว่ามากขึ้น (โปรดดูบทความต้นฉบับสำหรับตัวชี้วัดโดยละเอียดเพิ่มเติม)

❓ Q2: HiF-VLA บรรเทาปัญหาความซ้ำซ้อนทางภาพและประสิทธิภาพต่ำในวิธีการดั้งเดิมได้อย่างมีประสิทธิภาพหรือไม่?

❌ ปัญหาของวิธีการดั้งเดิม: เมื่อยัดภาพหลายเฟรมในอดีตให้โมเดลอย่างง่ายดาย หน่วยความจำจะระเบิดทันที หน่วยความจำ GPU สูงสุดเพิ่มขึ้นเป็นสองเท่าถึง 63.6 GB (เพิ่มขึ้น 2.06 เท่า) และความล่าช้าในการอนุมานเพิ่มขึ้นอย่างรุนแรงถึง 229.5 ms (สูงถึง 3.15 เท่า) ที่น่าหายใจไม่ออกยิ่งกว่านั้นคือ เนื่องจากการนำสัญญาณรบกวนพื้นหลังคงที่จำนวนมากเข้ามา โมเดลกลับถูก干扰สายตา ทำให้อัตราความสำเร็จเฉลี่ย (Avg. SR) ลดลงแทนที่จะเพิ่มขึ้น

✅ วิธีแก้ปัญหาของ HiF-VLA: HiF-VLA เข้ารหัสเฟรมประวัติศาสตร์เป็นเวกเตอร์การเคลื่อนไหวที่มีมิติต่ำและมีโครงสร้างอย่างชาญฉลาด หลังจากนำโมดูล Hindsight มาใช้ เมื่อเผชิญกับหน้าต่างประวัติศาสตร์ที่มีความยาวเท่ากัน หน่วยความจำสูงสุดของโมเดลยังคงอยู่ที่เพียง 31.4 GB ซึ่งแทบจะ “ไม่มีภาระ” เมื่อเทียบกับ Baseline (เพิ่มค่าใช้จ่ายเพียงเล็กน้อย 1.02 เท่า) ในขณะเดียวกัน ความล่าช้าในการอนุมาน (117.7 ms) ก็ต่ำกว่าวิธีการซ้อนแบบดั้งเดิมมาก ที่สำคัญที่สุด หลังจากกำจัดความซ้ำซ้อนทางภาพแล้ว มันช่วยให้โมเดลมุ่งเน้นไปที่การทำความเข้าใจการเคลื่อนไหวทางกายภาพ และเพิ่มอัตราความสำเร็จเฉลี่ยได้อย่างมาก

Q3: เมื่อช่วงเวลาเพิ่มขึ้น ประสิทธิภาพการปรับขนาดของ HiF-VLA ในการอนุมานเป็นอย่างไร?

ปฏิเสธต้นทุนที่เพิ่มขึ้นแบบ指数，打破คอขวดการคำนวณลำดับยาว

จากกราฟเปรียบเทียบประสิทธิภาพการอนุมาน จะเห็นได้ชัดว่าเมื่อช่วงเวลาประวัติศาสตร์เพิ่มขึ้น วิธีการดั้งเดิมที่อาศัยการซ้อนเฟรมภาพจะทำให้ความล่าช้าในการคำนวณเพิ่มขึ้นแบบ指数 และอาจทำให้หน่วยความจำล้น (OOM) ในทางตรงกันข้าม HiF-VLA โดยการแยกคุณลักษณะ Motion ที่มีมิติต่ำและกะทัดรัด ได้打破คอขวดการคำนวณลำดับยาวอย่างสิ้นเชิง ไม่ว่าหน้าต่างการสังเกตประวัติศาสตร์จะยาวขึ้นเท่าใด มันก็ยังคงรักษาความล่าช้าในการอนุมานที่เสถียรและต่ำมาก ซึ่งแสดงให้เห็นถึงความสามารถในการปรับขนาดเวลาที่ยอดเยี่ยมในการจัดการการเปลี่ยนแปลงแบบไดนามิกระยะยาว

Q4: HiF-VLA ที่เรียกว่า “คิดไปพร้อมกับการกระทำ” นั้น实现ได้อย่างไร?

เห็นแล้วเชื่อ: การคาดการณ์ motion และการดำเนินการ action สอดคล้องกันอย่างสูงในเชิงพื้นที่และเวลา

จากผลการแสดงภาพ ขณะที่ HiF-VLA ดำเนินการกระทำ โมดูลผู้เชี่ยวชาญร่วมภายในได้คาดการณ์สนามการเคลื่อนไหวทางภาพในอนาคตที่ระบุด้วยลูกศรสีแดงอย่างแม่นยำแล้ว ซึ่งพิสูจน์ให้เห็นอย่างชัดเจนว่าโมเดลไม่ได้ท่องจำคำสั่งอย่างกลไก แต่实现 “คิดไปพร้อมกับการกระทำ” อย่างแท้จริง มันสามารถคาดการณ์ได้อย่างชัดเจนว่าการกระทำของตัวเองจะทำให้เกิดการเปลี่ยนแปลงทางกายภาพแบบไดนามิกอย่างไรในสภาพแวดล้อม จึงแสดง “สัญชาตญาณทางกายภาพ” ที่แม่นยำในงานที่ซับซ้อน

04 สรุป

จาก “การเลียนแบบการกระทำ” เชิงกลไก สู่ “World Action Model (WAM)” ที่เข้าใจกฎทางกายภาพ HiF-VLA ได้ก้าวไปอีกขั้นที่สำคัญ มันพิสูจน์ให้เห็นว่าการกระทำของหุ่นยนต์ไม่ควรเป็นเพียงการตอบสนองต่อคำสั่งอย่างสุ่มสี่สุ่มห้า แต่ควรเป็นผลตอบรับทางกายภาพตามธรรมชาติที่เกิดขึ้นภายใต้การ交织ของการหยั่งรู้ในอดีตและการคาดการณ์อนาคต สำหรับการ推动ปัญญาประจำกายไปสู่โลกทางกายภาพที่ซับซ้อนและสมจริงยิ่งขึ้น HiF-VLA นำเสนอกระบวนทัศน์ใหม่ที่มีศักยภาพและสร้างแรงบันดาลใจอย่างไม่ต้องสงสัย