การอนุมานโมเดลขนาดใหญ่

งานวิจัยนี้มาจากกลุ่มการเรียนรู้เครื่องที่เชื่อถือได้และการอนุมานของมหาวิทยาลัยฮ่องกงแบปติสต์และมหาวิทยาลัยเซี่ยงไฮ้เจียวทง ซึ่งได้รับการยอมรับจาก ICLR 2026 ปัจจุบัน RLVR (Reinforc…

คำสำคัญ: ระบบบริการ LLM, การเติมล่วงหน้า, การอุดตันที่หัวแถว, _การจัดตารางที่รับรู้ SLO_, การแทรกแซงระดับโอเปอเรเตอร์, การจัดตารางแบบขับเคลื่อนด้วยเหตุการณ์ ขณะที่เรากำลังใช้แชทบอท…

เหตุใดวิธีการบีบอัดบริบทที่มีอยู่จึง “พลิกคว่ำ” อย่างเป็นหมู่คณะเมื่ออัตราการบีบอัดสูง? เมื่อโมเดลต้องบีบอัดข้อความยาว 32K ให้เหลือเพียง 1K ประสิทธิภาพทำไมถึงลดลงอย่างร…

การรู้จำอารมณ์จากเสียงพูด (Speech Emotion Recognition, SER) ในอดีตมักยึดตามกระบวนทัศน์เดียวกัน: รับข้อมูลเสียงเข้า แล้วให้ป้ายกำกับอารมณ์ออกมา การตั้งค่านี้มีประสิทธิภาพในเชิงวิศวก…

ก่อนเทศกาลตรุษจีน Bytedance ได้เปิดตัวโมเดลขนาดใหญ่ชุด Seed 2.0 อย่างเป็นทางการ ในการประเมินก่อนหน้านี้ เราได้วิเคราะห์โดยละเอียดเกี่ยวกับรุ่นเรือธงของซีรีส์นี้ Doubao-Seed-2.0-pro…

คำสำคัญ: การเร่งความเร็วด้วย FPGA, การสังเคราะห์ระดับสูง (HLS), การควอนไทซ์โมเดล, การออกแบบร่วมฮาร์ดแวร์-ซอฟต์แวร์, การอนุมานความหน่วงต่ำ, คอมไพเลอร์โอเพนซอร์ส เพียงไม่กี่บรรทัดของ…

ในปีที่ผ่านมา เทคโนโลยีการค้นคืนข้อความโดยใช้โมเดลภาษาขนาดใหญ่ (LLM-based Text Retrieval) ได้พัฒนาอย่างรวดเร็ว โดยโมเดล LLM Embedding หลักส่วนใหญ่มีพารามิเตอร์มากกว่า 7B พันล้านตัว…

ยังมีผู้เชี่ยวชาญด้านการผลิตชิปอีกหรือ? ชิปตัวล่าสุดที่เพิ่งเปิดตัว ขึ้นแท่นทันทีในรายการฮิตของซิลิคอนแวลลีย์ ด้วยความเร็วในการอนุมานสูงสุดถึง 17,000 โทเค็นต่อวินาที นี่หมายความว่า…

หากมองชีวิตเป็นเกม MMO แบบเปิดขนาดใหญ่ ณ เวลาที่เซิร์ฟเวอร์เกมเพิ่งอัปเดตครั้งใหญ่ กฎก็เปลี่ยนไป นับตั้งแต่ ChatGPT ปรากฏตัวอย่างน่าตื่นตาตื่นใจในปี 2022 โลกได้เปลี่ยนแปลงไปอย่างลึ…

ลองนึกภาพว่าคุณให้ผู้ช่วย AI ใช้เครื่องมือค้นหาเพื่อสำรวจปัญหาที่ซับซ้อน ในการสำรวจครั้งแรก มันไปผิดทาง แต่ในครั้งที่สองและสาม มันยังคงเดินตามเส้นทางสำรวจผิดพลาดเดิมซ้ำอีก แม้ว่าคุ…