OpenAI ได้เปิดตัวความท้าทายใหม่ชื่อ Model Craft Challenge โดยมีโครงการหลักคือ “Parameter Golf” ซึ่งตั้งเงื่อนไขที่เข้มงวดมาก
ผู้เข้าแข่งขันต้องพยายามลดการสูญเสียในการตรวจสอบ (validation loss) ของโมเดลลงให้มากที่สุด โดยใช้ชุดข้อมูล FineWeb ที่กำหนดไว้ พร้อมกันนั้น ผลลัพธ์โมเดลสุดท้าย (รวมทั้งน้ำหนักและโค้ดการฝึก) ต้องมีขนาดไม่เกิน 16 MB และกระบวนการฝึกต้องเสร็จสิ้นภายใน 10 นาทีบน GPU H100 จำนวน 8 ตัว
ข้อจำกัดเหล่านี้แทบจะตัดวิธีการดั้งเดิมที่เน้นการเพิ่มพารามิเตอร์หรือแข่งกันด้านพลังการประมวลผลออกไป จุดเน้นของความท้าทายจึงหันไปสู่การออกแบบโครงสร้างโมเดล เทคนิคการบีบอัดขั้นสูงสุด การตัดสินใจเชิงกลยุทธ์ และความชาญฉลาดในการนำไปปฏิบัติทางวิศวกรรม
ชื่อความท้าทาย “Parameter Golf” ได้รับแรงบันดาลใจจากกีฬากอล์ฟ เช่นเดียวกับกอล์ฟที่มุ่งหวังจะตีลูกเข้าหลุมด้วยจำนวนครั้งที่น้อยที่สุด “Parameter Golf” มีเป้าหมายเพื่อส่งเสริมให้นักวิจัยบรรลุประสิทธิภาพโมเดลที่ดีที่สุดด้วยพารามิเตอร์ที่น้อยที่สุด สำรวจขีดจำกัดทางเทคนิคของประสิทธิภาพโมเดล
ความท้าทายนี้เปิดรับทั่วโลก โดยมีเป้าหมายเพื่อสำรวจโมเดลฝึกล่วงหน้าที่มีประสิทธิภาพสูงขึ้นภายใต้ข้อจำกัดทรัพยากรที่เข้มงวด ผู้เข้าแข่งขันที่ทำได้ดีโดดเด่นอาจได้รับโอกาสสัมภาษณ์งานจาก OpenAI และแนวทางที่ชนะก็มีโอกาสถูกนำเสนอต่อสาธารณะ
ในการออกแบบโจทย์แข่งขัน ความท้าทายนี้ได้นำแนวคิดจาก “NanoGPT Speedrunning” มาใช้ ซึ่งก็คือการบรรลุประสิทธิภาพเป้าหมายภายในเวลาที่กำหนด OpenAI ได้ต่อยอดจากแนวคิดนี้โดยมุ่งเน้นไปที่ข้อจำกัดด้านพารามิเตอร์มากขึ้น เพื่อขับเคลื่อนนวัตกรรมในด้านสถาปัตยกรรมใหม่ๆ วิธีการบีบอัด และกลยุทธ์การฝึกและอนุมาน
เพื่อลดอุปสรรคในการเข้าร่วม ฝ่ายจัดการได้จำกัดการส่งผลงานขึ้นกระดานผู้นำให้อยู่ในขอบเขตของ GPU H100 จำนวน 8 ตัว และเวลาในการฝึก 10 นาที สำหรับแนวทางที่เกินขีดจำกัดด้านพลังการประมวลผลนี้ ก็สนับสนุนให้ส่งไปยังส่วนที่ไม่บันทึกสถิติเพื่อการสำรวจ นอกจากนี้ OpenAI ยังให้การสนับสนุนพลังการประมวลผลรวมมูลค่า 1 ล้านดอลลาร์ เพื่อช่วยผู้เข้าแข่งขันเริ่มต้นการฝึก
ความท้าทายเริ่มขึ้นในวันที่ 18 มีนาคม และจะดำเนินไปจนถึงวันที่ 30 เมษายน
วิธีการเข้าร่วม?
ผู้เข้าแข่งขันต้อง Fork repository บน GitHub ที่โครงการจัดเตรียมไว้ ซึ่งประกอบด้วยโมเดลพื้นฐาน ชุดข้อมูลคงที่ และสคริปต์ประเมินผล หลังจากทำการปรับปรุงภายใต้ข้อจำกัดขนาดโมเดลและพลังการประมวลผลแล้ว ให้ส่ง Pull Request (PR) ที่ประกอบด้วยโค้ด บันทึกการทำงาน (log) คะแนน และคำอธิบายสั้นๆ เมื่อผ่านการตรวจสอบแล้ว ผลลัพธ์จะถูกผสานเข้า และกระดานผู้นำจะอัปเดตโดยอัตโนมัติ ผู้เข้าแข่งขันยังสามารถขอรับโควต้ากำลังประมวลผลฟรีจำนวนจำกัดได้
คำถามที่พบบ่อย:
* คุณสมบัติผู้เข้าแข่งขัน: โดยหลักการแล้วเปิดรับบุคคลที่มีอายุ 18 ปีบริบูรณ์ขึ้นไปและอยู่ในภูมิภาคที่สนับสนุน พนักงานของ OpenAI สามารถเข้าร่วมได้แต่จะไม่ได้รับรางวัลกำลังประมวลผล
* การคำนวณขนาดผลลัพธ์: ขีดจำกัด 16MB (16,000,000 ไบต์) รวมปริมาตรโค้ดและปริมาตรโมเดลหลังการบีบอัด โค้ดทั้งหมดต้องอยู่ในไฟล์ train_gpt.py ผลลัพธ์ต้องเป็นแบบสมบูรณ์ในตัวเอง (self-contained) และไม่อนุญาตให้มีการร้องขอผ่านเครือข่ายภายนอกใดๆ ในระหว่างการประเมินผล
* ข้อจำกัดการประเมินผล: ขั้นตอนการประเมินผลเองก็ต้องเสร็จสิ้นภายใน 10 นาทีบน GPU H100 จำนวน 8 ตัว (เวลานี้เป็นเวลานอกเหนือจากเวลาในการฝึก) กระบวนการประเมินผลออกแบบให้มีความยืดหยุ่นค่อนข้างมาก อนุญาตให้ทำบนความยาวลำดับใดๆ ก็ได้
* กำลังประมวลผลและการส่งผลงาน: สามารถขอรับโควต้ากำลังประมวลผลได้หลายครั้ง (แต่ทรัพยากรมีจำกัด ไม่รับประกันว่าจะได้รับการอนุมัติ) และสามารถส่งผลงานเข้าแข่งขันได้หลายครั้ง แต่การส่งผลงานจำกัดเฉพาะบุคคลเท่านั้น ไม่รับรูปแบบทีม
มุมมองจากแวดวงอุตสาหกรรม:
สำหรับความท้าทายนี้ มุมมองในแวดวงอุตสาหกรรมมีความเห็นที่แตกต่างกัน บางมุมมองเห็นว่านี่เป็นวิธีที่มีประสิทธิภาพในการระบุวิศวกรที่เก่งกาจในสภาพแวดล้อมที่มีทรัพยากรจำกัด ขณะที่บางคนก็กังวลว่าบริษัทอื่นอาจลอกเลียนแบบรูปแบบโดยไม่มีแรงจูงใจที่เป็นสาระสำคัญ นอกจากนั้น การอภิปรายยังขยายไปสู่ทิศทางที่น่าสนใจ: การออกแบบและปรับปรุงโมเดลเป็นสิ่งที่ AI ถนัดอยู่แล้ว เรื่องนี้ควรปล่อยให้ AI Agent ดำเนินการโดยอัตโนมัติหรือไม่? นักวิจัยบางท่านระบุว่า ในทางทฤษฎีสามารถจัดตั้ง “กลุ่ม AI Agent” เพื่อเข้าร่วมการแข่งขันประเภทนี้ได้
⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง
本文来自网络搜集，不代表คลื่นสร้างอนาคต立场，如有侵权，联系删除。转载请注明出处：http://www.itsolotime.com/th/archives/26443