วิศวกรรมโมเดลขนาดใหญ่

ในช่วงไม่กี่ปีที่ผ่านมา ด้วยการเพิ่มขึ้นอย่างต่อเนื่องของขนาดและความหนาแน่นของความรู้ในโมเดลภาษาขนาดใหญ่ นักวิจัยเริ่มกลับมาคิดทบทวนถึงปัญหาพื้นฐานที่สำคัญยิ่งขึ้น: พารามิเตอร์ในโม…

การใช้ AI โดยเฉพาะโมเดลภาษาขนาดใหญ่และเอเจนต์อัจฉริยะในการแก้ปัญหาคณิตศาสตร์ กำลังกลายเป็นเทรนด์ใหม่ในแวดวงวิจัย ล่าสุด รองศาสตราจารย์ James Zou จากมหาวิทยาลัยสแตนฟอร์ด และนักวิจัย…

เอียน กู๊ดเฟลโลว์ ผู้ที่เงียบหายไปนาน ในที่สุดก็ปรากฏตัวอีกครั้ง นักวิจัยผู้เสนอแนวคิด Generative Adversarial Networks (GAN) คนนี้ เคยเป็นผู้เปิดฉากคลื่นลูกแรกของเทคโนโลยีสร้างสรรค…

การเรียนรู้แบบเสริมกำลัง (RL) จัดระบบการแนะนำเป็นกระบวนการตัดสินใจแบบลำดับ ซึ่งสนับสนุนการเพิ่มประสิทธิภาพของผลประโยชน์ระยะยาวและตัวชี้วัดที่ไม่ต่อเนื่อง เป็นหนึ่งในกระบวนทัศน์การส…

เมื่อเร็วๆ นี้ ทีม Seed ของ ByteDance และนักวิจัยจาก AIR แห่งมหาวิทยาลัย Tsinghua ได้ร่วมกันเผยแพร่งานวิจัยใหม่ชื่อ CUDA Agent ซึ่งได้รับความสนใจอย่างกว้างขวางในวงการสร้างโค้ด AI ง…

ความท้าทายในการขยายขนาดโมเดลใหญ่ การพัฒนาของโมเดลใหญ่เป็นเวลานานได้ปฏิบัติตามกฎเหล็ก: ตาม Scaling Law เพิ่มพารามิเตอร์และข้อมูล ประสิทธิภาพของโมเดลจะเพิ่มขึ้นอย่างต่อเนื่องตามกฎกำล…

คำสำคัญ: การสร้างเคอร์เนล CUDA, การเรียนรู้แบบเสริมกำลังด้วยเอเจนต์, การปรับปรุงประสิทธิภาพ, KernelBench, สภาพแวดล้อมเสริมทักษะ ในระดับล่างของโครงสร้างพื้นฐานการเรียนรู้เชิงลึก มีข…

อธิบาย 6 รูปแบบ Agentic RAG ด้วยการแลกเปลี่ยนในการผลิตจริง การสาธิต RAG ส่วนใหญ่ทำงานได้ดีในสภาพแวดล้อมในอุดมคติ แต่เมื่อต้องเผชิญกับผู้ใช้จริง ปัญหาก็ตามมา: ค้นหาข้อมูลบริบทที่ไม่…

Prompt Engineering ตายแล้ว Context Engineering คือวิธีที่ระบบการผลิตทำงานในปัจจุบัน ระบบ RAG ของคุณส่งคืนเอกสารที่สมบูรณ์แบบ คำสั่งของคุณก็ได้รับการขัดเกลาอย่างดี แต่โมเดลภาษาขนาดใ…

พรอมต์ (Prompt) ในฐานะอินเทอร์เฟซ กำหนดรูปแบบพฤติกรรมและขีดจำกัดประสิทธิภาพของโมเดลภาษาขนาดใหญ่ (LLM) และระบบเอเจนต์โดยตรง ความเข้าใจและการควบคุมพรอมต์ (prompt) เป็นตัวกำหนดระดับคว…