การอนุมานโมเดลขนาดใหญ่
-
คลอเดเอาชนะการคาดเดาทฤษฎีกราฟได้อย่างอิสระ อัลกอริทึมผู้บุกเบิกโดนัลด์ คนูธ ตกใจ: AI ถูกบันทึกอย่างเป็นทางการในงานวิจัยทางคณิตศาสตร์เป็นครั้งแรก
Knuth ได้เผยแพร่บทความต้นฉบับชื่อ “Claude’s Cycles” บนเว็บไซต์ของมหาวิทยาลัยสแตนฟอร์ด โดยเปิดบทความด้วยคำว่า “Shock! Shock!” เพื่อแสดงความตะลึงของเขา …
-
FAST-Prefill: ตัวเร่งความเร็ว FPGA สำหรับความสนใจแบบเบาบางแบบไดนามิก ทะลุข้อจำกัดการเติมล่วงหน้าของ LLM บริบทยาว เพิ่มประสิทธิภาพ 2.5 เท่า
FAST-Prefill ไม่ใช่เพียงการแมปอัลกอริทึมกับฮาร์ดแวร์แบบง่ายๆ แต่เป็นตัวอย่างของการออกแบบร่วมระหว่างฮาร์ดแวร์และอัลกอริทึมอย่างลึกซึ้ง โดยอิงจากรูปแบบการคำนวณและลักษณะการไหลของข้อมู…
-
เฟรมเวิร์กการบีบอัดแคช KV ที่ขับเคลื่อนด้วย RL: KV Policy แซงหน้าความสามารถ SOTA ของนโยบายแบบฮิวริสติก เพิ่มต้นทุนการคำนวณการเติมล่วงหน้าเพียง 1%
คำสำคัญ: แบบจำลองภาษาขนาดใหญ่, แคช KV, การเรียนรู้แบบเสริมกำลัง, การขับไล่แคช, การให้เหตุผลบริบทยาว นับตั้งแต่สถาปัตยกรรม Transformer กำเนิดขึ้น แบบจำลองภาษาขนาดใหญ่ (LLMs) ได้ก้าว…
-
ให้ Agent ค้นหาไม่ “รออย่างโง่เขลา”: ทีมมหาวิทยาลัยเหรินหมินใช้โมเดลแพร่กระจายเพื่อให้ “ทำสองสิ่งพร้อมกัน” คิดขณะรอผลการค้นหา เร่งความเร็ว 15% โดยไม่ลดประสิทธิภาพ
เอเจนต์อัจฉริยะสำหรับการค้นหา (Agent) แบบหลักในปัจจุบันมีจุดคอขวดด้านประสิทธิภาพที่พบบ่อย: กระบวนการทำงานของมันเป็นแบบอนุกรมอย่างเคร่งครัด ตัวอย่างเช่น กรอบงาน ReAct ที่ใช้กันอย่าง…
-
DeepSeek เฟรมเวิร์กใหม่ DualPath: ใช้การ์ดเน็ตเวิร์กที่ไม่ได้ใช้งานเพื่อเร่งการอนุมานเอเจนต์ เอาชนะคอขวด I/O และเพิ่มประสิทธิภาพได้เกือบ 2 เท่า
DeepSeek กรอบงานใหม่ DualPath: ใช้การ์ดเน็ตเวิร์คที่ไม่ได้ใช้งานเพื่อเร่งการอนุมานเอเจนต์ ทำลายคอขวด I/O เพิ่มประสิทธิภาพเกือบ 2 เท่า ในขณะที่วงการต่างจับตามองความคืบหน้าของโมเดลรุ…
-
เป็นครั้งแรกที่พิสูจน์แล้วว่า RL สามารถทำให้โมเดล 3D เรียนรู้การให้เหตุผลได้ คุณภาพการสร้างภายใต้คำอธิบายข้อความที่ซับซ้อนเพิ่มขึ้นอย่างก้าวกระโดด!
การศึกษาเชิงระบบครั้งแรก: การเรียนรู้แบบเสริมกำลังช่วยให้โมเดล 3D เรียนรู้การให้เหตุผลได้อย่างไร? ในด้านการสร้างภาพ การเรียนรู้แบบเสริมกำลัง (RL) ได้แสดงผลงานที่น่าประทับใจแล้ว แล้…
-
DeepSeek ร่วมกับมหาวิทยาลัยชิงหวาและเป่ยจิงเปิดตัวเฟรมเวิร์ก DualPath: ใช้การ์ดเน็ตเวิร์กที่ไม่ได้ใช้งานเพื่อทำลายข้อจำกัดในการอนุมาน Agent ประสิทธิภาพเพิ่มขึ้นเกือบ 2 เท่า
DeepSeek ร่วมกับมหาวิทยาลัยปักกิ่งและมหาวิทยาลัยชิงหวา เปิดตัวเฟรมเวิร์ก DualPath: ใช้การ์ดเน็ตเวิร์กที่ไม่ได้ใช้งานเพื่อแก้ไขปัญหาคอขวด I/O ในการอนุมาน Agent เพิ่มประสิทธิภาพเกือบ…
-
RL ช่วยให้เกิดความก้าวหน้าใหม่ในการสร้าง 3D: การวิจัยเชิงระบบครั้งแรกด้วยการเรียนรู้แบบเสริมกำลัง ช่วยให้โมเดล 3D เรียนรู้การให้เหตุผลจากข้อความที่ซับซ้อน และคุณภาพการสร้างเพิ่มขึ้นอย่างมาก
RL ปลดปล่อยความก้าวหน้าใหม่ในการสร้าง 3D: การวิจัย RL อย่างเป็นระบบครั้งแรกทำให้โมเดล 3D เรียนรู้การให้เหตุผลจากข้อความที่ซับซ้อน ในด้านการสร้างภาพ การเรียนรู้แบบเสริมแรง (RL) ได้ร…
-
ปักกิ่ง-ชิงหว่าร่วมมือ DeepSeek ฝ่าขีดจำกัดการให้เหตุผลของ Agentic LLM! โครงการ DualPath โหลดแคช KV แบบสองเส้นทางเพิ่มประสิทธิภาพการประมวลผล 1.87 เท่า
คำสำคัญ: Agentic LLM, KV Cache, PD Separation, Storage I/O, Load Balancing ในช่วงไม่กี่ปีที่ผ่านมา รูปแบบการประยุกต์ใช้โมเดลภาษาขนาดใหญ่ (LLM) กำลังเปลี่ยนแปลงอย่างลึกซึ้ง LLM ในยุ…
-
Google Aletheia สร้างสถิติใหม่ใน FirstProof Math Challenge: AI แก้ปัญหาเชิงวิจัยยาก 6 ข้อได้ด้วยตัวเอง แซงหน้าผลงานเหรียญทอง IMO
เมื่อเดือนกรกฎาคมปีที่แล้ว การแข่งขันคณิตศาสตร์โอลิมปิกระหว่างประเทศ (IMO) ได้เห็นระบบปัญญาประดิษฐ์เข้าสู่ระดับเหรียญทองเป็นครั้งแรก ในขณะนั้น OpenAI และ Google DeepMind ได้ประกาศผ…
