Andrej Karpathy เป็นที่ยอมรับในวงการ AI ว่าเป็นอัจฉริยะ เขาเป็น สมาชิกผู้ก่อตั้ง OpenAI ต่อมาถูก Elon Musk ดึงตัวไป และได้เป็นผู้นำทีมขับขี่อัตโนมัติของ Tesla หลังจากออกจาก Tesla เขากลับไปที่ OpenAI และมีส่วนร่วมในการวิจัยและพัฒนาต่อยอดของ GPT-4
ปัจจุบัน เขาก่อตั้งบริษัทการศึกษา AI ชื่อ Eureka Labs และมักจะแอคทีฟบน X และ YouTube หากคุณต้องการเรียนรู้ AI โดยเฉพาะหลักการทางเทคนิค ช่อง YouTube ของ Andrej Karpathy ถือเป็นหนึ่งในเส้นทางการเรียนรู้ที่ดีที่สุดในโลกในขณะนี้
01 โครงการโอเพนซอร์สของเขา
① nanoGPT: มาตรฐานการฝึกฝนล่วงหน้าที่เรียบง่ายที่สุด
nanoGPT คือไลบรารีการฝึก GPT ที่เรียบง่ายและชัดเจนที่สุดที่ Karpathy พัฒนาขึ้นเพื่อการสอนและการวิจัย มันได้รับการยอมรับว่าเป็นผลงานชิ้นเอกเบื้องต้นสำหรับการทำความเข้าใจหลักการของโมเดลภาษาขนาดใหญ่ มันลอกเอาส่วนประกอบทางวิศวกรรมที่ซับซ้อนออกจากโค้ดระดับอุตสาหกรรม เหลือไว้เพียงตรรกะหลักของสถาปัตยกรรม Transformer
ผ่านโครงการนี้ นักพัฒนาสามารถเห็นได้อย่างชัดเจนว่าโมเดลคล้าย GPT-2 ถูกสร้างขึ้นจากศูนย์อย่างไร ผ่านการเขียนด้วย PyTorch และผ่านการฝึกฝนล่วงหน้าบนข้อมูลของตัวเอง
โค้ดหลักของมันกระชับมาก ประกอบด้วยไฟล์หลักสองไฟล์ที่มีความยาวประมาณ 300 บรรทัด: model.py กำหนดโครงสร้างทางคณิตศาสตร์ที่ซับซ้อนของ Transformer ในขณะที่ train.py นำวงจรการฝึกที่สมบูรณ์มาใช้ แม้ว่าปริมาณโค้ดจะน้อยมาก แต่ก็รองรับเทคโนโลยีหลักของการเรียนรู้เชิงลึกสมัยใหม่อย่างครบถ้วน เช่น การฝึกแบบกระจาย การเร่งความเร็วด้วยความแม่นยำผสม (Flash Attention) และความเข้ากันได้กับน้ำหนักทางการจาก OpenAI
- ที่อยู่โอเพนซอร์ส: https://github.com/karpathy/nanoGPT
② nanochat: คู่มือแบบเต็มวงจรจากการเขียนตัวอักษรสู่การสนทนา
โครงการโอเพนซอร์สที่มีดาว 40,000 ดวงนี้ ช่วยให้คุณสามารถฝึก ChatGPT ขนาดเล็กด้วยต้นทุนประมาณ 100 ดอลลาร์
หากกล่าวว่า nanoGPT มุ่งเน้นที่การฝึกฝนล่วงหน้าเพื่อให้โมเดลเรียนรู้การทำนายตัวอักษรถัดไป nanochat ก็คือเฟรมเวิร์กการฝึกโมเดลขนาดใหญ่แบบเต็มสแต็กขั้นสูงกว่า มันไม่เพียงครอบคลุมการฝึกฝนล่วงหน้าเท่านั้น แต่ยังเติมเต็มวงจรสมบูรณ์ที่จำเป็นสำหรับการเปลี่ยนโมเดลดิบให้เป็นโมเดลสนทนาแบบ ChatGPT ซึ่งรวมถึง: การฝึกตัวแบ่งคำ การปรับแต่งภายใต้การดูแล และการเรียนรู้แบบเสริมกำลัง
โครงการนี้ใช้โค้ดเพียงประมาณ 8,000 บรรทัดในการสร้างระบบแบบ end-to-end และยังมาพร้อมกับอินเทอร์เฟซการแชทบนเว็บสำเร็จรูป ซึ่งช่วยให้ผู้ใช้สามารถสนทนากับโมเดลของตัวเองได้ทันทีหลังการฝึกเสร็จสิ้น
02 แหล่งข้อมูลของอัจฉริยะ
เมื่อไม่นานมานี้ Andrej Karpathy โพสต์บน X ของตัวเอง โดยให้ความเห็นว่าโซเชียลมีเดียในปัจจุบันเต็มไปด้วยเนื้อหา AI ขยะที่สร้างขึ้นเพื่อล่อให้คลิกและกระตุ้นอารมณ์ เพื่อให้ได้เนื้อหาคุณภาพสูง ยาว และมีการคิดเชิงลึก เขาแนะนำอย่างยิ่งให้กลับไปใช้การสมัครรับข้อมูล RSS และมองว่า RSS เป็นป้อมปราการสุดท้ายในการต่อสู้กับห้องสะสมข้อมูล (information cocoon) และการควบคุมโดยอัลกอริทึม
- ที่อยู่ฟีด: https://gist.github.com/emschwartz/e6d2bf860ccc367fe37ff953ba6de66b#file-hn-popular-blogs-2025-opml
เขาใช้ตัวอ่าน RSS เป็นหลัก เพื่อสมัครรับบทความยาวที่เขียนโดยมนุษย์ด้วยตนเองและมีคุณค่าที่ยั่งยืน แทนที่จะเป็นบทความสั้นๆ ที่ถูกปรับให้เหมาะสมโดยอัลกอริทึม ฟีดด้านบนนี้รวบรวมบล็อกยอดนิยม 92 แห่งจาก Hacker News ในปี 2025 ซึ่งครอบคลุมการอภิปรายเชิงเทคนิคเชิงลึก ศิลปะการเขียนโปรแกรม คณิตศาสตร์ และการวิจัยทางวิทยาศาสตร์
Hacker News เป็นเว็บไซต์รวมข่าวที่ดำเนินการโดย Y Combinator มีสถานะสูงมากในแวดวงเทคโนโลยี โปรแกรมเมอร์ และสตาร์ทอัพ ถูกหลายคนมองว่าเป็นสถานที่ศักดิ์สิทธิ์สำหรับรับข้อมูลข่าวสารเทคโนโลยีคุณภาพสูงและการอภิปรายเชิงลึก
03 จะรับข้อมูลแบบ Karpathy ได้อย่างไร?
① ดาวน์โหลดไฟล์ OPML
ขั้นแรกต้องเปิดลิงก์ด้านบน และดาวน์โหลดไฟล์ OPML ลงในเครื่องของคุณ
② เลือกเครื่องมือสมัครรับข้อมูล RSS
คุณสามารถเลือกเครื่องมือสมัครรับข้อมูล RSS แบบโอเพนซอร์ส เช่น Folo
- ที่อยู่โอเพนซอร์ส: https://github.com/RSSNext/Folo
นอกจาก Folo แล้ว คุณยังสามารถใช้เครื่องมืออ่าน RSS อื่นๆ ได้ เช่น NetNewsWire
- ที่อยู่โอเพนซอร์ส: https://github.com/Ranchero-Software/NetNewsWire
③ นำเข้าไฟล์ OPML
ในตัวอ่าน RSS ให้ทำการนำเข้าไฟล์ OPML ที่เพิ่งดาวน์โหลดมา
หลังจากนำเข้าสำเร็จ คุณจะเห็นรายการบล็อกยอดนิยมเหล่านี้
04 แหล่งข้อมูลนี้มีอะไรบ้าง?
แหล่งข้อมูลนี้ประกอบด้วยบล็อกคุณภาพสูงมากมาย เช่น:
- Simon Willison: ผู้ร่วมก่อตั้งเฟรมเวิร์ก Django ปัจจุบันมุ่งเน้นการวิจัยการใช้ AI อย่างเป็นประโยชน์ ต่างจากคนที่โหมกระแส เขาจะเขียนโค้ดทดสอบโมเดลใหม่ๆ ด้วยตนเอง และแบ่งปันเทคนิค Prompt Engineering รายละเอียด ประสบการณ์การใช้ API รวมถึงช่องโหว่ด้านความปลอดภัย
- Neal Agarwal: เขาไม่แบ่งปันเทคนิคที่น่าเบื่อ แต่สร้างสรรค์หน้าเว็บที่สนุกสนาน ผลงาน代表作ของเขา “Stimulation Clicker” เป็นเกมเสียดสีการเสพติดโดพามีนบนอินเทอร์เน็ตสมัยใหม่ ผลงานของเขามักจะติดอันดับบน Hacker News แสดงให้เห็นว่าโค้ดไม่เพียงแต่สามารถใช้สร้างเครื่องมือได้ แต่ยังสามารถสร้างความสุขและศิลปะได้
นอกจากนี้ ยังรวมถึง:
* ผู้บุกเบิกด้านเทคนิค: เช่น Paul Graham (ผู้ก่อตั้ง YC เขียนบทความไม่มาก แต่ทุกบทความมักจะได้รับความนิยม), John Gruber (มุ่งเน้นการวิจารณ์ระบบนิเวศของ Apple)
* ผู้เชี่ยวชาญด้านเทคโนโลยีระดับล่าง: เช่น Julia Evans (อธิบาย Linux kernel/โปรโตคอลเครือข่ายด้วยการ์ตูน)
* สาขาคณิตศาสตร์และวิทยาศาสตร์: เช่น Terence Tao (บล็อกของ陶哲轩 นักคณิตศาสตร์ระดับท็อปของโลก)
ติดตาม “鲸栖” บน Mini Program เพื่ออัปเดตข่าวสาร AI ล่าสุด
⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง
本文来自网络搜集，不代表คลื่นสร้างอนาคต立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/th/archives/22975