Parallel-Probe: การปฏิวัติประสิทธิภาพการอนุมานแบบขนานในโมเดลขนาดใหญ่ ลดการสูญเสียการคำนวณลง 35.8%

เมื่อการให้เหตุผลของโมเดลขนาดใหญ่เข้าสู่ยุคแห่งการคิดแบบขนาน ปัญหาสำคัญหนึ่งก็ปรากฏขึ้น: ในกระบวนการให้เหตุผลแบบขนาน ทรัพยากรการคำนวณจำนวนมากถูกใช้ไปกับเส้นทางการคิดที่ไม่จำเป็นต้องดำเนินต่อไปหรือไม่?

เพื่อสำรวจปัญหานี้ ทีมวิจัยจากมหาวิทยาลัยแมรีแลนด์ มหาวิทยาลัยวอชิงตันในเซนต์หลุยส์ และมหาวิทยาลัยนอร์ทแคโรไลนาที่แชปเพิลฮิลล์ ได้เสนอ Parallel-Probe การศึกษานี้ไม่ได้เริ่มต้นจากการออกแบบอัลกอริทึมโดยตรง แต่ได้แนะนำเทคนิค 2D Probing ก่อน เพื่ออธิบายลักษณะเชิงพลวัตโดยรวมของการให้เหตุผลแบบขนานออนไลน์อย่างเป็นระบบ การศึกษาพบว่าการให้เหตุผลแบบขนานนั้นไม่ใช่ “ยิ่งใช้พลังการคำนวณมากยิ่งดี”: ฉันทามติโดยรวมมักจะคงที่ก่อนที่สาขาการให้เหตุผลทั้งหมดจะสิ้นสุดลง ในขณะที่เส้นทาง “หางยาว” (long-tail) บางเส้นทางที่ยืดเยื้อยังคงใช้ทรัพยากรการคำนวณจำนวนมากอย่างต่อเนื่อง และกลายเป็นจุดคอขวดหลักของประสิทธิภาพ

จากข้อค้นพบนี้ ทีมวิจัยได้เสนออัลกอริทึมควบคุมการให้เหตุผลแบบขนาน ที่ไม่ต้องฝึกฝน เพิ่มเติม นั่นคือ Parallel-Probe วิธีนี้สามารถลดการคำนวณที่ไม่มีประสิทธิภาพได้อย่างมีนัยสำคัญโดยไม่เสียความแม่นยำหลัก ลดความล่าช้าในการให้เหตุผลลง 35.8% และลดต้นรวมของ token ลง 25.8%

• ชื่อบทความวิจัย: Parallel-Probe: Towards Efficient Parallel Thinking via 2D Probing
• ลิงก์บทความวิจัย: https://arxiv.org/pdf/2602.03845
• ที่เก็บโค้ด: https://github.com/zhengkid/Parallel-Probe
• แพลตฟอร์มประเมินผลออนไลน์: https://huggingface.co/spaces/EfficientReasoning/efficient_reasoning_online_judgement

จุดปัญหาหลัก: “เส้นทางขนาน” ที่แยกขาดนำไปสู่จุดคอขวดด้านประสิทธิภาพ

วิธีการให้เหตุผลแบบขนานที่มีอยู่ในปัจจุบัน (เช่น การลงคะแนนเสียงส่วนใหญ่) มีข้อบกพร่องที่ชัดเจน: สาขาการให้เหตุผลแต่ละสาขาเป็นอิสระต่อกัน ซึ่งหมายความว่า แม้สาขาส่วนใหญ่จะบรรลุฉันทามติแล้ว ระบบยังคงต้องรอให้ทุกสาขา (รวมถึงเส้นทางหางยาวที่ซ้ำซ้อน) ดำเนินการเสร็จสิ้นทั้งหมด

การวิจัยชี้ให้เห็นว่า “มุมมองเฉพาะส่วน” นี้นำไปสู่การไม่มีประสิทธิภาพอย่างรุนแรง ผ่านการตรวจสอบ 2D อย่างเป็นระบบ ทีมวิจัยได้เปิดเผยลักษณะเชิงพลวัตพื้นฐานสามประการของการให้เหตุผลแบบขนาน:

• การปรับขนาดแบบไม่ซ้ำซาก: ความแม่นยำไม่ได้เพิ่มขึ้นแบบซ้ำซากตามการใช้พลังการคำนวณ แต่ขึ้นอยู่กับความสมดุลที่ละเอียดอ่อนระหว่าง “ความกว้าง” (จำนวนสาขาขนาน) และ “ความลึก” (จำนวนขั้นตอนการคิดของเส้นทางเดียว) (ดู Figure (a))
• ความยาวเส้นทางไม่เท่ากัน: ความยาวการสร้างของสาขาขนานแตกต่างกันอย่างมาก ทรัพยากรการคำนวณมักถูกครอบครองโดยเส้นทาง “หางยาว” (long-tail) เพียงไม่กี่เส้นทาง (ดู Figure (b))
• ฉันทามติคงที่เร็ว: ฉันทามติโดยรวมมักจะบรรลุก่อนที่ทุกสาขาจะสิ้นสุดลง (อัตราการบรรลุฉันทามติโดยเฉลี่ยอยู่ที่เพียง 0.31) (ดู Figure (c))

ความก้าวหน้าทางเทคนิค: การควบคุมงบประมาณ 2D แบบ “ผ่าตัด” โดยอาศัยสัญญาณระดับโลก

Parallel-Probe เป็นวิธีการ ที่ไม่ขึ้นกับโมเดล แบบ plug-and-play ที่สามารถปรับใช้ได้โดยตรงกับโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์สหรือแบบปิดต่างๆ

เพื่อตอบสนองต่อข้อค้นพบดังกล่าว Parallel-Probe ใช้ตัวควบคุมน้ำหนักเบาที่ไม่ต้องฝึกฝน ผ่านกลไกหลักสองประการ เพื่อเพิ่มประสิทธิภาพการคิดแบบขนานออนไลน์พร้อมกันทั้งในมิติความกว้างและความลึก:

• การหยุดก่อนกำหนดตามฉันทามติ: ดึงผลลัพธ์กลางจากแต่ละสาขาเป็นระยะๆ เมื่อตรวจพบว่าคำตอบส่วนใหญ่ระดับโลกยังคงที่ในรอบต่อเนื่องกัน ตัวควบคุมจะหยุดการให้เหตุผลทั้งชุดโดยตรง เพื่อหลีกเลี่ยงขั้นตอนที่ซ้ำซ้อนในภายหลัง
• การตัดแต่งสาขาตามความเบี่ยงเบน: ตรวจสอบเส้นทางแต่ละเส้นทางแบบเรียลไทม์ หากเส้นทางใดเบี่ยงเบนไปจากแนวโน้มระดับโลกในปัจจุบันอย่างมีนัยสำคัญ ระบบจะตัดสินใจกำจัดเส้นทางนั้นออก และรวมทรัพยากรไปยังเส้นทางที่มีศักยภาพมากขึ้น

ผลการทดลอง: รีเฟรชแนวหน้า Pareto

ทีมวิจัยได้ทำการทดสอบอย่างกว้างขวางบนชุดโมเดล Qwen3 (0.6B ถึง 8B) ครอบคลุมชุดคำถามแข่งขันระดับสูง เช่น AIME 2024/2025 และ HMMT 2025

ผลการทดลองแสดงให้เห็นว่า Parallel-Probe สร้างจุดสมดุลที่ดีขึ้นระหว่างประสิทธิภาพ ประสิทธิภาพด้านต้นทุน และประสิทธิภาพด้านความล่าช้า มีประสิทธิภาพเหนือกว่าวิธีพื้นฐานที่มีอยู่ เช่น ESC และ SC อย่างเป็นระบบ

การมีส่วนร่วมด้านโครงสร้างพื้นฐาน: แพลตฟอร์มทดสอบ SCOUT

เพื่อส่งเสริมการวิจัยอย่างต่อเนื่องในสาขานี้ ทีมวิจัยได้เปิดตัว SCOUT (Sequential and Concurrent Offline Utilization Testbed) แพลตฟอร์มนี้ทำให้การสร้างการให้เหตุผลและกลยุทธ์การควบคุมแยกจากกัน ช่วยให้นักพัฒนาสามารถจำลองกลยุทธ์การปรับขนาดต่างๆ ด้วยค่าใช้จ่ายที่ต่ำมาก ซึ่งช่วยเพิ่มประสิทธิภาพการทดสอบได้อย่างมาก

โค้ดและแพลตฟอร์มประเมินผลออนไลน์ได้เปิดตัวแล้ว:
* GitHub: https://github.com/zhengkid/Parallel-Probe
* แพลตฟอร์ม: Efficient Reasoning Online Judge

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง