ความสนใจเชิงเส้น
-
ทีมงานจาก Harbin Institute of Technology, Shenzhen (HITsz) ทำลายข้อจำกัดของ Linear Attention! การแยก Norm×Direction ช่วยให้ความแม่นยำในการทำงานด้านวิสัยทัศน์แซงหน้าอย่างสมบูรณ์ และลดการใช้หน่วยความจำในการทำงาน Super-Resolution 70K+ token ได้ถึง 92.3%
ข้อมูลผู้เขียนผู้เขียนคนแรกของบทความนี้คือ เหมิง เว่ยคัง นักศึกษาปริญญาเอกที่เรียนร่วมระหว่างมหาวิทยาลัยเทคโนโลยีฮาร์บิน (เซินเจิ้น) และห้องปฏิบัติการ Peng Cheng สำเร็จการศึกษาระดั…
-
LINVIDEO: ไม่ต้องฝึกข้อมูลใหม่ ตัวแบบแพร่กระจายวิดีโอเร่งความเร็วเชิงเส้น 20 เท่า ความก้าวหน้าใหม่ใน CVPR 2024
ไม่ต้องฝึกข้อมูลใหม่ โมเดลแพร่กระจายวิดีโอเร่งความเร็วเชิงเส้น 20 เท่า: ความก้าวหน้าใหม่ใน CVPR 2024 การสร้างวิดีโอได้เข้าสู่ยุคขนาดใหญ่ แต่ต้นทุนการคำนวณที่ตามมาก็เพิ่มขึ้นอย่างรว…
-
ทำลายขีดจำกัดล้านบริบท: โครงสร้างความสนใจแบบผสม SALA ของ FaceWall AI นำยุคใหม่ของโมเดลขนาดใหญ่บนอุปกรณ์ปลายทาง
โมเดลภาษาขนาดใหญ่ที่ทรงพลังที่สุด ได้นำการปรับขนาด (scaling) ไปสู่มิติใหม่: บริบทระดับล้านโทเค็น ไม่กี่วันก่อน Claude Opus 4.6 เปิดตัว ทำให้ผู้คนได้สัมผัสถึงความสามารถที่เกิดขึ้นจร…