การฝึกโมเดลขนาดใหญ่
-
SKILL0: แม้โมเดลขนาดเล็กก็สามารถเป็นผู้เชี่ยวชาญเอเจนต์ได้! ทีมวิจัยจากมหาวิทยาลัยเจ้อเจียงเสนอกระบวนทัศน์ใหม่ในการทำให้ทักษะกลายเป็นส่วนหนึ่งของตัวโมเดล
โมเดลขนาดเล็กจะกลายเป็นผู้เชี่ยวชาญเอเจนต์อัจฉริยะได้อย่างไร? โดยทั่วไป การเสริมความสามารถของเอเจนต์โมเดลขนาดใหญ่มักใช้กระบวนทัศน์ “การเสริมทักษะ” ซึ่งหมายถึงการค้นหาแล…
-
PyTorch torch.compile ประสิทธิภาพก้าวกระโดด: การปรับปรุงเคอร์เนล LayerNorm และ RMSNorm เพิ่มประสิทธิภาพ GPU ถึงระดับ SOTA
คำสำคัญ: torch.compile, ตัวดำเนินการปรับมาตรฐาน, LayerNorm, RMSNorm, การปรับปรุงประสิทธิภาพ GPU LayerNorm และ RMSNorm เป็นตัวดำเนินการปรับมาตรฐานพื้นฐานในโมเดลการเรียนรู้เชิงลึก ใช…
-
GPU เร่งความเร็วใหม่! อัลกอริทึม Gram Newton-Schulz ลดเวลาออปติไมเซอร์โมเดล MoE หลายล้านล้านพารามิเตอร์ลง 40-50%
ในสาขาการวิเคราะห์เชิงตัวเลข Newton-Schulz และวิธีการที่เกี่ยวข้องได้รับการศึกษามาหลายปี แต่ส่วนใหญ่เน้นไปที่การคำนวณความแม่นยำสูง การปรับปรุง CPU หรืออินพุตเมทริกซ์จัตุรัส เมื่อเร…
-
กับดักของการกลั่นตัวเอง: ทำไม AI ‘ลอก’ การคิดของตัวเองจึงทำลายความสามารถในการให้เหตุผลทางคณิตศาสตร์?
กับดักของการกลั่นตัวเอง: ทำไม AI ที่ “ลอก” การคิดของตัวเองจึงทำลายความสามารถในการให้เหตุผลทางคณิตศาสตร์? เมื่อ AI พยายามทำให้มีประสิทธิภาพมากขึ้นโดยการ “ลอก”…
-
NCCLbpf: ใช้ eBPF เพื่อเพิ่มความปลอดภัยและประสิทธิภาพในการสื่อสารคลัสเตอร์ GPU แก้ปัญหาความน่าเชื่อถือในการฝึกอบรม AI
คำสำคัญ: NCCL, eBPF, การสื่อสารคลัสเตอร์ GPU, ส่วนขยายความปลอดภัย, การปรับปรุงประสิทธิภาพ ในคลัสเตอร์ฝึกอบรม AI การล่มของปลั๊กอิน NCCL เป็นสาเหตุของความล้มเหลวมากกว่า 30% และการอัป…
-
การเรียนรู้เสริมกำลังแบบร่วมมือกันของตัวแทนอัจฉริยะแบบต่างชนิด: ทำลายกำแพงแบบจำลองเดี่ยว สร้างการเรียนรู้ร่วมกันสองทาง และการปรับใช้ที่มีประสิทธิภาพ
ชื่อบทความวิจัย: Heterogeneous Agent Collaborative Reinforcement Learning ลิงก์บทความวิจัย: https://arxiv.org/abs/2603.02604 Github Page: https://zzx-peter.github.io/hacrl/ Hugging…
-
OpenClaw-RL: กรอบงานโอเพนซอร์สที่ทำให้ AI ฉลาดขึ้นเรื่อยๆ ทีมดุษฎีบัณฑิตจากมหาวิทยาลัยปักกิ่งไขปริศนาการฝึกฝนเอเจนต์ AI
ตลอดสัปดาห์ที่ผ่านมา เอไอเอเจนต์รูปการ์ตูนกุ้งมังกรสีแดงชื่อ OpenClaw ได้รับความสนใจอย่างกว้างขวาง ประสบการณ์การใช้เอไอเอเจนต์ที่สามารถทำงานเฉพาะเจาะจงนี้ค่อนข้างน่าตื่นเต้น: ตั้งแ…
-
งานวิจัยที่พลิกโฉมจาก MIT: ปลดล็อกศักยภาพแฝงของโมเดลขนาดใหญ่ด้วยการรบกวนแบบสุ่ม โดยไม่ต้องใช้การเรียนรู้แบบเสริมกำลัง
ในกระบวนการพัฒนารุ่นภาษาขนาดใหญ่ (LLM) ขั้นตอนหลังการฝึกฝนมักถูกมองว่าเป็นขั้นตอนสำคัญที่มอบความสามารถเฉพาะให้กับโมเดล ความคิดเห็นดั้งเดิมเชื่อว่าโมเดลต้องปรับน้ำหนักผ่านอัลกอริทึม…
-
ความก้าวหน้าใหม่ในการวิจัยอิสระของ AI: โครงการ Karpathy กระตุ้นการทำงานร่วมกันของกลุ่มเอเจนต์อัจฉริยะ ทำการทดลองกว่า 2,000 ครั้งใน 4 วัน
ความก้าวหน้าใหม่ในการวิจัยอิสระของ AI: โครงการ Karpathy กระตุ้นการทำงานร่วมกันแบบกลุ่มของเอเจนต์ ปฏิบัติการทดลองกว่า 2,000 ครั้งใน 4 วัน โครงการ Autoresearch ของ Karpathy ใช้โค้ด P…
-
ทำลายกำแพงภาษา: ใช้เซลล์ประสาทออโตมาตาเพื่อฝึกโมเดลขนาดใหญ่ล่วงหน้า เพิ่มประสิทธิภาพ 6% และเสริมความสามารถในการให้เหตุผล
หากวันหนึ่งโมเดลภาษาขนาดใหญ่ไม่ต้องพึ่งพาภาษามนุษย์ในการฝึกฝนอีกต่อไป จะเกิดอะไรขึ้น? ในช่วงไม่กี่ปีที่ผ่านมา ความก้าวหน้าทางความสามารถของโมเดลขนาดใหญ่มักตั้งอยู่บนพื้นฐานหนึ่ง: ข้…
