ความสนใจแบบเบาบาง
-
ก้าวข้ามข้อจำกัดด้านความจำ! สถาปัตยกรรม MSA บรรลุความจำระยะยาว 100M Token เปิดศักราชใหม่แห่งความจำตลอดชีวิตสำหรับโมเดลขนาดใหญ่
ปัญญาของมนุษย์ประกอบด้วยความสามารถในการให้เหตุผลและความสามารถในการจำระยะยาว ในช่วงไม่กี่ปีที่ผ่านมา ความสามารถในการให้เหตุผลของโมเดลขนาดใหญ่พัฒนาอย่างรวดเร็ว แต่ความสามารถในการจำระ…
-
FAST-Prefill: ตัวเร่งความเร็ว FPGA สำหรับความสนใจแบบเบาบางแบบไดนามิก ทะลุข้อจำกัดการเติมล่วงหน้าของ LLM บริบทยาว เพิ่มประสิทธิภาพ 2.5 เท่า
FAST-Prefill ไม่ใช่เพียงการแมปอัลกอริทึมกับฮาร์ดแวร์แบบง่ายๆ แต่เป็นตัวอย่างของการออกแบบร่วมระหว่างฮาร์ดแวร์และอัลกอริทึมอย่างลึกซึ้ง โดยอิงจากรูปแบบการคำนวณและลักษณะการไหลของข้อมู…
-
Qualcomm QuoKA: ไม่ต้องฝึกฝน ไม่ขึ้นกับฮาร์ดแวร์ ลด KV 88% เร่งการอนุมาน 5 เท่า ปฏิวัติประสิทธิภาพการเติมล่วงหน้าของ LLM
คำสำคัญ: แบบจำลองภาษาขนาดใหญ่, ความสนใจแบบเบาบาง, การเติมล่วงหน้าแบบแบ่งกลุ่ม, การเลือก KV, การเร่งการอนุมาน ไม่ต้องฝึกฝน ไม่ต้องพึ่งฮาร์ดแวร์เฉพาะ ใช้คู่ KV เพียง 12% ก็ได้ผลลัพธ์…
-
ทำลายขีดจำกัดล้านบริบท: โครงสร้างความสนใจแบบผสม SALA ของ FaceWall AI นำยุคใหม่ของโมเดลขนาดใหญ่บนอุปกรณ์ปลายทาง
โมเดลภาษาขนาดใหญ่ที่ทรงพลังที่สุด ได้นำการปรับขนาด (scaling) ไปสู่มิติใหม่: บริบทระดับล้านโทเค็น ไม่กี่วันก่อน Claude Opus 4.6 เปิดตัว ทำให้ผู้คนได้สัมผัสถึงความสามารถที่เกิดขึ้นจร…
