Google TurboQuant อัลกอริทึมเปิดตัวอย่างน่าตื่นเต้น: บีบอัด KV Cache ได้ 6 เท่าโดยไม่สูญเสียความแม่นยำ การอนุมาน AI ก้าวสู่การปฏิวัติหน่วยความจำ

3 hours ago • การอนุมานโมเดลขนาดใหญ่ • 15 views

Google Research ได้นำเสนอผลงานวิจัยที่ก้าวล้ำในการประชุมวิชาการ ICLR 2026 ที่จะมาถึง โดยเปิดตัวอัลกอริทึมบีบอัดใหม่ชื่อ TurboQuant อัลกอริทึมนี้สามารถบีบอัด KV Cache ซึ่งเป็นส่วนที่ใช้หน่วยความจำมากที่สุดในกระบวนการอนุมาน AI ได้อย่างน้อย 6 เท่า พร้อมทั้งรักษาความแม่นยำโดยไม่สูญเสียเลย ความก้าวหน้านี้ถูกตีความโดยตลาดว่าอาจช่วยลดความต้องการหน่วยความจำสำหรับการอนุมาน AI บริบทยาวได้อย่างมีนัยสำคัญ

ควอนไทซ์ KV Cache ลงเหลือ 3 บิต

เพื่อให้เข้าใจความสำคัญของ TurboQuant ต้องเข้าใจปัญหาที่มันแก้ไขก่อน ในกระบวนการอนุมานของโมเดลขนาดใหญ่ ข้อมูลที่ประมวลผลแล้วจะถูกเก็บชั่วคราวใน KV Cache เพื่อเรียกใช้อย่างรวดเร็วในภายหลัง และหลีกเลี่ยงการคำนวณซ้ำ เมื่อหน้าต่างบริบทของโมเดลขยายตัวขึ้นเรื่อยๆ การใช้หน่วยความจำของ KV Cache ก็ขยายตัวอย่างรวดเร็ว และกลายเป็นหนึ่งในคอขวดหลักของการอนุมาน AI

วิธีแก้ปัญหาแบบดั้งเดิมคือเวกเตอร์ควอนไทเซชัน ซึ่งเป็นการบีบอัดข้อมูลความแม่นยำสูงให้เป็นการแสดงผลความแม่นยำต่ำ อย่างไรก็ตาม วิธีการควอนไทเซชันส่วนใหญ่ต้องเก็บ “ค่าคงที่ควอนไทเซชัน” เพิ่มเติม ซึ่งแต่ละค่าจะใช้พื้นที่เพิ่มอีก 1 ถึง 2 บิต

TurboQuant ลดค่าใช้จ่ายส่วนเกินนี้ให้เป็นศูนย์ด้วยนวัตกรรมหลักสองประการ:

1. PolarQuant (การควอนไทซ์พิกัดเชิงขั้ว)
วิธีนี้ละทิ้งวิธีการอธิบายข้อมูลแบบดั้งเดิมด้วยพิกัด X, Y, Z และหันมาใช้ระบบพิกัดเชิงขั้วแบบ “ระยะทาง + มุม” ทีม Google พบว่าหลังจากการแปลง การกระจายตัวของมุมมีความเข้มข้นสูงและคาดการณ์ได้ ดังนั้นจึงไม่จำเป็นต้องเก็บค่าคงที่การปรับให้เป็นมาตรฐานเพิ่มเติมเลย เปรียบเสมือนการบีบอัด “เดินไปทางตะวันออก 3 แยก แล้วเดินไปทางเหนือ 4 แยก” ให้เหลือ “เดินไปในทิศทาง 37 องศา เป็นระยะทาง 5 แยก” — ปริมาณข้อมูลเท่าเดิม แต่การอธิบายกระชับขึ้น และยังประหยัดค่าใช้จ่ายของระบบพิกัดเองอีกด้วย

2. QJL (การแปลง JL แบบควอนไทซ์)
วิธีนี้จะฉายข้อมูลหลายมิติแล้วบีบอัดให้เป็นบิตเครื่องหมาย +1 หรือ -1 โดยไม่ต้องใช้หน่วยความจำเพิ่มเติมเลย TurboQuant ใช้ QJL เพื่อกำจัดข้อผิดพลาดเล็กน้อยที่เหลืออยู่หลังการบีบอัดด้วย PolarQuant

เมื่อนำทั้งสองวิธีมารวมกัน PolarQuant จะใช้ความจุบิตส่วนใหญ่ในการจับข้อมูลหลัก ส่วน QJL จะใช้ 1 บิตในการแก้ไขค่าความคลาดเคลื่อนที่เหลือ สุดท้ายแล้วทำให้สามารถควอนไทซ์ลงเหลือ 3 บิตได้ โดยไม่ต้องฝึกฝนหรือปรับแต่งโมเดลใดๆ และไม่สูญเสียความแม่นยำ

แสดงผลการทดสอบมาตรฐานที่ยอดเยี่ยม

ทีม Google ได้ทำการทดสอบมาตรฐานบริบทยาวหลักบนโมเดลโอเพ่นซอร์สต่างๆ เช่น Gemma, Mistral ครอบคลุมงานหลากหลายประเภท เช่น การถามตอบ การสร้างโค้ด การสรุปเนื้อหา

ในการทดสอบ “หาเข็มในมหาสมุทร” TurboQuant ได้คะแนนสมบูรณ์แบบในทุกโครงการ พร้อมทั้งลดการใช้หน่วยความจำของ KV Cache ลงอย่างน้อย 6 เท่า แม้ใช้เพียง PolarQuant อย่างเดียวก็ยังได้ความแม่นยำที่เกือบไม่สูญเสีย

ความเร็วที่เพิ่มขึ้นก็มีนัยสำคัญเช่นกัน บน GPU H100 ของ NVIDIA ความเร็วในการคำนวณคะแนนความสนใจด้วย TurboQuant 4 บิต เร็วกว่าวิธีที่ไม่มีการควอนไทซ์ 32 บิต ถึง 8 เท่า ซึ่งหมายความว่าเทคโนโลยีนี้ไม่เพียงแต่ประหยัดหน่วยความจำ แต่ยังเพิ่มประสิทธิภาพการคำนวณอย่างมากอีกด้วย

ในด้านการค้นหาเวกเตอร์ TurboQuant ยังทำได้ดีกว่าอัตราการเรียกคืนของวิธีการควอนไทเซชันที่ดีที่สุดที่มีอยู่ในปัจจุบัน โดยไม่จำเป็นต้องปรับแต่งสำหรับชุดข้อมูลเฉพาะ และไม่ต้องพึ่งพา codebook ขนาดใหญ่ที่ไม่มีประสิทธิภาพ

ผลกระทบทางเทคนิคและสถานะปัจจุบัน

บางมุมมองในอุตสาหกรรมมองว่านี่คือ “ช่วงเวลา DeepSeek ของ Google” โดยเห็นว่า TurboQuant พิสูจน์ให้เห็นว่าการใช้ทรัพยากรน้อยลงก็สามารถรันการอนุมานคุณภาพสูงได้ ซึ่งสอดคล้องกับแนวคิดการฝึกโมเดลระดับสูงด้วยทรัพยากรที่จำกัด

Google ระบุว่า TurboQuant ไม่เพียงแต่สามารถนำไปใช้กับโมเดลขนาดใหญ่เช่น Gemini เท่านั้น แต่ยังสามารถเพิ่มประสิทธิภาพการค้นหาความหมายได้อย่างมีนัยสำคัญ ทำให้การสืบค้นดัชนีเวกเตอร์ระดับล้านล้านของ Google เร็วขึ้นและมีต้นทุนต่ำลง

อย่างไรก็ตาม TurboQuant ยังคงเป็นผลงานวิจัยในห้องปฏิบัติการ และยังไม่ได้ถูกนำไปใช้ในวงกว้าง ที่สำคัญกว่านั้นคือ มันแก้ไขปัญหาคอขวดด้านหน่วยความจำเฉพาะในขั้นตอนการอนุมาน ของ AI เท่านั้น และไม่มีผลต่อขั้นตอนการฝึกฝน

ที่อยู่บทความวิจัย:
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง