จากนิยายวิทยาศาสตร์สู่ความเป็นจริง: โครงการ autoresearch ของ Karpathy ทำให้ AI วิจัยอิสระเป็นไปได้อย่างไร

คำสำคัญ: การวิจัย AI อัตโนมัติ, แบบจำลองภาษาขนาดใหญ่, การวิวัฒนาการด้วยตนเอง, การเรียนรู้ของเครื่องอัตโนมัติ, การปรับปรุงโปรแกรม

ลองจินตนาการถึงสถานการณ์นี้: ครั้งหนึ่ง การวิจัย AI ขั้นสูงทำโดยมนุษย์ที่ถูกเรียกว่า “คอมพิวเตอร์เนื้อ” — พวกเขาต้องกิน นอน ใช้ชีวิต และบางครั้งเชื่อมต่อกันผ่านคลื่นเสียงที่เรียกว่า “การประชุมกลุ่ม” ยุคนั้นผ่านไปนานแล้ว

ปัจจุบัน การวิจัยดำเนินการทั้งหมดโดยกลุ่มตัวแทนอัจฉริยะ AI อัตโนมัติที่ทำงานบนโครงสร้างขนาดใหญ่ของคลัสเตอร์คอมพิวเตอร์ในท้องฟ้า ตัวแทนเหล่านี้อ้างว่าเราอยู่ในรุ่นที่ 10205 ของฐานรหัส ไม่ว่าในกรณีใด ไม่มีใครสามารถตัดสินได้ว่าถูกหรือผิด เพราะ “โค้ด” ในตอนนี้คือไฟล์ไบนารีที่ปรับเปลี่ยนตัวเองได้ ซึ่งเกินกว่าความเข้าใจของมนุษย์

จากนิยายวิทยาศาสตร์สู่ความเป็นจริง: โครงการ autoresearch ของ Karpathy ทำให้ AI วิจัยอิสระเป็นไปได้อย่างไร

ข้อความที่เต็มไปด้วยอารมณ์ขันสีดำนี้ มาจากโครงการชื่อ “autoresearch” ที่ Andrej Karpathy นักวิทยาศาสตร์วิจัยชื่อดังในวงการ AI เผยแพร่ในเดือนมีนาคม 2026 แม้ว่าการตั้งเวลานี้จะอยู่ใน “อนาคต” แต่โครงการนี้เป็นโครงการโอเพ่นซอร์สที่มีอยู่จริงและมองการณ์ไกล วันนี้ ให้เราวิเคราะห์โครงการนี้อย่างลึกซึ้ง เพื่อดูว่า Karpathy วาดภาพแผนงานการวิจัย AI อัตโนมัติแบบไหนให้เรา

หนึ่ง นวัตกรรมหลัก: ทำให้ AI เป็นนักวิจัยของ AI

1.1 การเปลี่ยนกระบวนทัศน์จาก “การเขียนโปรแกรมโดยมนุษย์” เป็น “การตั้งเป้าหมาย”

จุดนวัตกรรมหลักของ autoresearch สามารถสรุปได้ในประโยคเดียว: เปลี่ยนบทบาทของการวิจัย AI จาก “ผู้ปฏิบัติ” เป็น “ผู้สำรวจ” โดยทั่วไป วิธีที่เราใช้ AI ทำการทดลองคือ: นักวิจัยมนุษย์ตั้งสมมติฐาน เขียนโค้ด รันการทดลอง วิเคราะห์ผลลัพธ์ แล้วทำกระบวนการนี้ซ้ำ นี่คือวงจรที่ช้าและถูกจำกัดด้วยเวลาและความสามารถในการรับรู้ของมนุษย์

ในขณะที่ autoresearch เสนอกระบวนทัศน์ใหม่: มนุษย์ไม่แก้ไขโค้ดโดยตรงอีกต่อไป แต่เขียน “คำอธิบายโปรแกรม” (program.md) เพื่อชี้นำตัวแทน AI ให้ตัวแทน AI ดำเนินการทดลอง แก้ไขโค้ด ประเมินผลลัพธ์ และปรับปรุงโมเดลอย่างต่อเนื่องด้วยตนเอง

วิธีการนำความคิดนี้ไปปฏิบัติคือ: ให้ตัวแทน AI มีสภาพแวดล้อมการฝึก LLM ขนาดเล็กแต่จริง และให้มันทำงานตลอดทั้งคืนอย่างอิสระ ตัวแทนจะแก้ไขโค้ด ฝึก 5 นาที ตรวจสอบว่าผลลัพธ์ดีขึ้นหรือไม่ เก็บหรือทิ้งการแก้ไข แล้วทำกระบวนการนี้ซ้ำ เช้าวันรุ่งขึ้น เมื่อนักวิจัยมนุษย์ตื่นขึ้น จะเห็นบันทึกการทดลองหลายชุด และ (หวังว่า) โมเดลที่ดีขึ้น

ตาราง 1: การเปรียบเทียบกระบวนทัศน์การวิจัยแบบดั้งเดิมกับกระบวนทัศน์ autoresearch

| มิติ | กระบวนทัศน์การวิจัยแบบดั้งเดิม | กระบวนทัศน์ autoresearch |
| :— | :— | :— |
| ผู้แก้ไขโค้ด | นักวิจัยมนุษย์ | ตัวแทน AI |
| รอบการทดลอง | หน่วยเป็น วัน/สัปดาห์ | 5 นาที/ครั้ง |
| บทบาทมนุษย์ | ผู้ดำเนินการโดยตรง | ผู้ตั้งเป้าหมายและผู้ควบคุมดูแล |
| ความสามารถในการขยาย | ถูกจำกัดด้วยพลังงานของมนุษย์ | สามารถขยายได้ไม่จำกัดในทางทฤษฎี |
| ที่มาของนวัตกรรม | สัญชาตญาณมนุษย์ | การสำรวจของอัลกอริทึม + คำแนะนำจากมนุษย์ |

สอง การวิเคราะห์วิธีการทำงานอย่างลึกซึ้ง

2.1 โครงสร้างที่เรียบง่ายแต่สมบูรณ์

ฐานรหัสของ autoresearch ตั้งใจให้กระชับ มีเพียงสามไฟล์ที่สำคัญจริงๆ:

  1. prepare.py – ค่าคงที่ที่กำหนดไว้ล่วงหน้า การเตรียมข้อมูลครั้งเดียว (ดาวน์โหลดข้อมูลการฝึก ฝึกตัวแบ่งคำ BPE) และเครื่องมือขณะรัน (ตัวโหลดข้อมูล การประเมิน) ไฟล์นี้จะไม่ถูกแก้ไข
  2. train.pyไฟล์เดียวที่ตัวแทน AI สามารถแก้ไขได้ ประกอบด้วยโมเดล GPT ที่สมบูรณ์ ตัวเพิ่มประสิทธิภาพ (Muon + AdamW) และลูปการฝึก ทุกอย่างสามารถแก้ไขได้: โครงสร้าง พารามิเตอร์ส่วนเกิน ตัวเพิ่มประสิทธิภาพ ขนาดแบทช์ ฯลฯ ไฟล์นี้ถูกแก้ไขและทำซ้ำโดยตัวแทน
  3. program.md – คำสั่งพื้นฐานสำหรับตัวแทน มนุษย์ชี้ตัวแทนไปที่ไฟล์นี้ แล้วปล่อยให้มันทำงาน ไฟล์นี้ถูกแก้ไขและทำซ้ำโดยมนุษย์

ความประณีตของการออกแบบนี้คือ: มันกำหนดขอบเขตความรับผิดชอบระหว่างมนุษย์และ AI อย่างชัดเจนผ่านการแบ่งสิทธิ์ไฟล์ มนุษย์รับผิดชอบการตั้งเป้าหมายและให้คำแนะนำ (ผ่าน program.md) ในขณะที่ AI รับผิดชอบการสำรวจการนำไปปฏิบัติ (ผ่านการแก้ไข train.py)

autoresearch/
├── prepare.py # โค้ดคงที่: การเตรียมข้อมูลและเครื่องมือขณะรัน (มนุษย์เขียน ไม่แก้ไข)
├── train.py # โค้ดที่เปลี่ยนแปลงได้: โมเดล ตัวเพิ่มประสิทธิภาพ ลูปการฝึก (ตัวแทน AI แก้ไข)
├── program.md # ไฟล์คำแนะนำ: คำสั่งสำหรับตัวแทน AI (มนุษย์เขียนและทำซ้ำ)
├── pyproject.toml # การจัดการการพึ่งพา
└── README.md # คำอธิบายโครงการ

จากนิยายวิทยาศาสตร์สู่ความเป็นจริง: โครงการ autoresearch ของ Karpathy ทำให้ AI วิจัยอิสระเป็นไปได้อย่างไร

แผนภูมินี้แสดงกระบวนการปรับปรุงซ้ำของการทดลองวิจัยอัตโนมัติ 83 ครั้งอย่างชัดเจน โดยมีศูนย์กลางอยู่ที่ตัวชี้วัดประสิทธิภาพโมเดล BPB ซึ่งค่าที่ต่ำกว่าหมายถึงผลลัพธ์ที่ดีกว่า แผนภูมิใช้จุดสีเทาแทนผลการทดลองที่ไม่ได้รับการยอมรับ จุดสีเขียวแทนการปรับปรุงที่มีประสิทธิภาพ 15 รายการที่ถูกเก็บรักษาไว้ และเส้นขั้นบันไดสีเขียวบันทึกเส้นทางประสิทธิภาพที่ดีที่สุดหลังจากการทำซ้ำอย่างต่อเนื่อง การทดลองเริ่มต้นจากค่า BPB พื้นฐานเริ่มต้นประมาณ 0.998 ผ่านการสำรวจและคัดกรองอัตโนมัติหลายรอบ ค่อยๆ ตัดทิ้งแผนงานที่ไม่มีประสิทธิภาพ และเก็บรักษาทิศทางการปรับปรุงที่มีประสิทธิภาพ แนวโน้มโดยรวมแสดงให้เห็นถึงการปรับปรุงอย่างมั่นคงจากค่าเริ่มต้นไปสู่ผลลัพธ์สุดท้าย สะท้อนกระบวนการวงจรปิดของ “การสำรวจ—การตรวจสอบ—การเลือกที่ดีที่สุด—การทำซ้ำ” ในการวิจัยอัตโนมัติอย่างสมบูรณ์ และแสดงให้เห็นอย่างชัดเจนถึงบทบาทสำคัญของการทำซ้ำอย่างต่อเนื่องในการปรับปรุงประสิทธิภาพโมเดล

2.2 การออกแบบนวัตกรรมด้วยงบประมาณเวลาคงที่

หนึ่งในการเลือกออกแบบที่น่าสนใจที่สุดของ autoresearch คือ งบประมาณเวลาคงที่ ไม่ว่าจะเป็นรายละเอียดของแพลตฟอร์มคอมพิวเตอร์ใด การฝึกแต่ละครั้งจะทำงานคงที่ 5 นาที (ไม่รวมเวลาเริ่มต้นและคอมไพล์) การออกแบบนี้ให้ข้อได้เปรียบหลักสองประการ:

  • รับประกันความสามารถในการเปรียบเทียบผลลัพธ์: ในเวลาในการคำนวณเดียวกัน ไม่ว่าตัวแทนจะทำการแก้ไขขนาดโมเดล ขนาดแบทช์ หรือโครงสร้างอย่างไร ผลการทดลองสามารถเปรียบเทียบได้โดยตรง การประเมินใช้ตัวชี้วัด val_bpb (จำนวนบิตต่อไบต์ในชุดตรวจสอบ) ซึ่งค่าที่ต่ำกว่าหมายถึงความสามารถในการบีบอัดของโมเดลที่ดีกว่า ตัวชี้วัดนี้ไม่ขึ้นกับขนาดคำศัพท์ จึงรับประกันการเปรียบเทียบที่ยุติธรรมระหว่างการเปลี่ยนแปลงโครงสร้างต่างๆ
  • การปรับปรุงให้เหมาะสมตามแพลตฟอร์ม: ระบบจะค้นหาการกำหนดค่าโมเดลที่ดีที่สุดสำหรับแพลตฟอร์มฮาร์ดแวร์เฉพาะในงบประมาณ 5 นาทีที่กำหนด

อย่างไรก็ตาม ข้อเสีย ของการออกแบบนี้ก็ชัดเจน: เนื่องจากความแตกต่างของประสิทธิภาพระหว่างแพลตฟอร์มคอมพิวเตอร์ต่างๆ ผลลัพธ์ที่ดีที่สุดที่ได้จากแพลตฟอร์มหนึ่ง ไม่สามารถเปรียบเทียบได้โดยตรงกับผลลัพธ์จากการทำงานบนแพลตฟอร์มอื่นอีกต่อไป

ภาพด้านล่างแสดงขั้นตอนการทำงานหลักของ autoresearch:

จากนิยายวิทยาศาสตร์สู่ความเป็นจริง: โครงการ autoresearch ของ Karpathy ทำให้ AI วิจัยอิสระเป็นไปได้อย่างไร

หมายเหตุ: แผนภาพลำดับงานนี้อธิบายวงจรการวิจัยอัตโนมัติของ autoresearch ตัวแทน AI แก้ไข train.py ตามคำสั่งใน program.md ดำเนินการฝึก 5 นาทีหนึ่งครั้ง จากนั้นประเมินผลลัพธ์ ระบบตัดสินใจว่าจะเก็บการแก้ไขโค้ดครั้งนี้หรือไม่ตามตัวชี้วัดประสิทธิภาพ และบันทึกบันทึกการทดลอง นักวิจัยมนุษย์สามารถดูบันทึกการทดลองและโมเดลสุดท้ายที่สร้างขึ้นในวันรุ่งขึ้น

2.3 รายละเอียดการนำไปปฏิบัติทางเทคนิค

ในด้านการนำไปปฏิบัติทางเทคนิค autoresearch มีจุดออกแบบสำคัญหลายประการที่ควรอภิปรายอย่างลึกซึ้ง:

| หมวดหมู่ | เนื้อหา | สิ่งที่สามารถแก้ไขได้ |
| :— | :— | :— |
| โครงสร้างโมเดล | โมเดล GPT ใน train.py ใช้การนำไปปฏิบัติ GPU เดี่ยวแบบง่ายของ nanoGPT รักษาองค์ประกอบหลักของ Transformer เช่น ความสนใจตนเองหลายหัว เครือข่ายฟีดฟอร์เวิร์ด และการทำให้เป็นมาตรฐานชั้น เป็นต้น | จำนวนหัวความสนใจ จำนวนชั้นเครือข่าย มิติของชั้นที่ซ่อนอยู่ ประเภทฟังก์ชันกระตุ้น เป็นต้น |
| การรวมตัวเพิ่มประสิทธิภาพ | ใช้ตัวเพิ่มประสิทธิภาพรวม Muon (MomentUm OptimizatiON) กับ AdamW Muon เป็นอัลกอริทึมเพิ่มประสิทธิภาพที่ค่อนข้างใหม่ ทำงานร่วมกับ AdamW โดยมีเป้าหมายเพื่อปรับปรุงผลการฝึกในสถานการณ์เฉพาะ | ประเภทตัวเพิ่มประสิทธิภาพ กลยุทธ์การกำหนดตารางอัตราการเรียนรู้ พารามิเตอร์โมเมนตัม เป็นต้น |
| ตัวชี้วัดการประเมิน | เลือกใช้ val_bpb (บิตต่อไบต์ในชุดตรวจสอบ) เป็นตัวชี้วัดการประเมินหลัก bpb วัดประสิทธิภาพการบีบอัดของโมเดลภาษา เกี่ยวข้องกับความสับสนแต่ตรงกว่า และไม่ได้รับผลกระทบจากขนาดคำศัพท์ ส่งเสริมการเปรียบเทียบที่ยุติธรรมระหว่างโครงสร้างต่างๆ | ประเภทตัวชี้วัด (เช่น เปลี่ยนเป็นความสับสน ความแม่นยำ เป็นต้น) วิธีการคำนวณ ชุดข้อมูลการประเมิน เป็นต้น |

โหมดใหม่ที่ autoresearch เสนอคือ: มนุษย์ตั้งเป้าหมายและข้อจำกัด ระบบ AI รับผิดชอบการสำรวจเส้นทางเพื่อบรรลุเป้าหมายเหล่านี้ นี่ไม่ได้หมายความว่ามนุษย์ “ปล่อยมือ” อย่างสมบูรณ์ แต่เป็นการเปลี่ยนแปลงบทบาทของมนุษย์ — จาก “ผู้ดำเนินการ” เป็น “ผู้ชี้นำ” มนุษย์ไม่จำเป็นต้องเข้าใจรายละเอียดของโค้ดทุกบรรทัดอีกต่อไป แต่ชี้นำทิศทางการวิจัยผ่านคำสั่งระดับสูงเช่น program.md

โหมดนี้หากพัฒนาเต็มที่ อาจนำมาซึ่งการเปลี่ยนแปลงสำคัญหลายประการ:

  • การเร่งการวิจัย: ระบบ AI สามารถทำการทดลองได้ตลอด 24 ชั่วโมงโดยไม่หยุดพัก เร่งจังหวะการวิจัยอย่างมาก ตามการประมาณของ Karpathy ทดลอง 5 นาทีต่อครั้ง ตลอดคืน (สมมติ 8 ชั่วโมง) สามารถทำการทดลองได้ประมาณ 100 ครั้ง
  • ความหลากหลายในการสำรวจ: ระบบ AI อาจสำรวจไปในทิศทางที่มนุษย์ไม่เคยคิดถึง เพราะไม่ถูกจำกัดด้วยอคติและกรอบความคิดของมนุษย์
  • การวิจัยที่สามารถขยายได้: เมื่อทรัพยากรคอมพิวเตอร์เพิ่มขึ้น สามารถเพิ่มตัวแทน AI มากขึ้นเพื่อสำรวจทิศทางต่างๆ ขนานกันได้อย่างง่ายดาย ทำให้การวิจัยขยายในแนวนอนได้

แน่นอนว่าโหมดนี้ก็นำมาซึ่งปัญหาใหม่: เราจะรับประกันได้อย่างไรว่าทิศทางที่ AI สำรวจมีคุณค่า? จะหลีกเลี่ยงการติดอยู่ในจุดที่ดีที่สุดเฉพาะที่ได้อย่างไร? จะรักษาอำนาจควบคุมสุดท้ายของมนุษย์ไว้ได้อย่างไร? คำถามเหล่านี้ยังคงต้องหาคำตอบ

แปด คู่มือปฏิบัติ: วิธีเริ่มใช้ autoresearch

หากคุณสนใจ autoresearch และต้องการลองด้วยตัวเอง นี่คือขั้นตอนเริ่มต้นอย่างรวดเร็ว:

8.1 ข้อกำหนดสภาพแวดล้อม

  • GPU NVIDIA เดี่ยว (ทดสอบบน H100 แล้ว)
  • Python 3.10+
  • uv (ตัวจัดการแพ็คเกจ Python)

8.2 ขั้นตอนการติดตั้ง

bash

1. ติดตั้งตัวจัดการแพ็คเกจ uv (หากยังไม่ได้ติดตั้ง)

curl -LsSf https://astral.sh/uv/install.sh | sh

2. ติดตั้งการพึ่งพาของโครงการ

uv sync

3. ดาวน์โหลดข้อมูลและฝึกตัวแบ่งคำ (ดำเนินการครั้งเดียว ใช้เวลาประมาณ 2 นาที)

uv run prepare.py

8.3 เรียกใช้งานตัวแทน

หลังจากตั้งค่าข้างต้นเสร็จสิ้น คุณสามารถเริ่มตัวแทน AI ที่คุณเลือก (เช่น Claude หรือ Codex) และให้คำแนะนำดังนี้:

“โปรดดู program.md เริ่มการทดลองใหม่กันเถอะ! เรามาเริ่มตั้งค่ากันก่อน”

ไฟล์ program.md โดยพื้นฐานแล้วคือคำอธิบาย “ทักษะ” ที่เรียบง่ายมาก ใช้เพื่อชี้นำวิธีการทำงานของตัวแทน

บทสรุป: จากนิยายวิทยาศาสตร์สู่ความเป็นจริงของ autoresearch

กลับไปที่เรื่องนิยายวิทยาศาสตร์ตอนต้น Karpathy วาดภาพอนาคตที่การวิจัยถูกนำโดย AI อย่างสมบูรณ์ด้วยวิธีที่ตลกขบขัน และโครงการ autoresearch เอง ก็เป็นก้าวจริงสู่ทิศทางนั้น

แน่นอนว่าเรายังห่างไกลจากขั้นตอน “กลุ่มตัวแทน AI อัตโนมัติทำงานบนคลาวด์” แต่ autoresearch แสดงให้เห็นกรอบงานที่จับต้องได้และปฏิบัติได้จริง ทำให้เราสามารถเริ่มคิดและวิจัยความเป็นไปได้นี้ได้ มันตั้งคำถามสำคัญ: เมื่อการวิจัยเองสามารถทำให้เป็นอัตโนมัติได้ บทบาทของนักวิจัยมนุษย์ควรเป็นอะไร?

บางทีคำตอบอาจอยู่ใน program.md — มนุษย์รับผิดชอบการตั้งเป้าหมาย ค่านิยม และข้อจำกัด ในขณะ


⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง

本文来自网络搜集,不代表คลื่นสร้างอนาคต立场,如有侵权,联系删除。转载请注明出处:https://www.itsolotime.com/th/archives/25740

Like (0)
Previous 1 day ago
Next 1 day ago

相关推荐