AI ที่เกิดก่อนปี 1931 สามารถเขียนโค้ด Python ได้? โมเดลที่ข้ามผ่านศตวรรษสร้างความตกตะลึงให้วงการวิชาการ

อยู่มานานเพิ่งเคยเห็น!

AI ที่มีชีวิตอยู่ก่อนปี 1931 และไม่เคยเจอคอมพิวเตอร์ในข้อมูลฝึกฝน ข้ามเวลามาเกือบศตวรรษ—

กลับเขียนโค้ด Python ได้?!

ทุกคนครับ นี่ไม่ใช่นิยายวิทยาศาสตร์แน่นอน…

โมเดลชื่อ talkie-1930-13b

ผู้ควบคุมคือนักวิจัย AI Nick Levine, รองศาสตราจารย์จากมหาวิทยาลัยโตรอนโต David Duvenaud และคนที่ทุกคนรู้จัก—บิดาแห่งซีรีส์ GPT ตัวจริง Alec Radford

ข้อมูลฝึกฝนของโมเดลนี้มีกฎเหล็ก: ห้ามมีคำใดๆ หลังจากวันที่ 1 มกราคม 1931 เข้ามาเด็ดขาด!

มันไม่รู้จักทีวีหรืออินเทอร์เน็ต โลกของมันหยุดอยู่ที่เที่ยงคืนของวันที่ 31 ธันวาคม 1930 ตลอดไป

แต่สิ่งที่มหัศจรรย์ที่สุดคือ ทีมงานพบว่า:

AI ที่ไม่ควรรู้เรื่อง New Deal ของ Roosevelt กลับอธิบายกฎหมาย New Deal ได้อย่างละเอียด แถมยังบอกปีได้อีกด้วย?!

ที่แปลกกว่านั้นคือ เมื่อทีมโยนโจทย์เขียนโค้ด Python ให้มัน “วิญญาณแห่งอดีต” ที่ข้ามเวลามาเกือบร้อยปี กลับเขียนโค้ด Python บรรทัดแรกในชีวิตของมันได้?!

AI ที่ไม่เคยได้ยินชื่อคอมพิวเตอร์ เขียนโค้ดข้ามร้อยปี ชาวเน็ตอดนั่งนิ่งไม่ได้

จินตนาการเปิดทันที ชายหนุ่มคนนี้คิด “รายการคำถามข้ามเวลา” ไว้แล้ว อยากลองสุดๆ:

ฉันตื่นหรือยัง? AI ข้ามเวลาได้จริงเหรอ??

โมเดลเก่าที่มีชีวิตก่อนปี 1931

โมเดลที่มีชีวิตก่อนปี 1931 รู้ทุกอย่างทั้งฟ้าดินและยังเขียนโปรแกรมได้ เราต้องศึกษามันหน่อย

จริงๆ แล้ว talkie เป็นโมเดลขนาด 13 พันล้านพารามิเตอร์ ฝึกฝนบนข้อความภาษาอังกฤษก่อนปี 1931 จำนวน 260 พันล้าน tokens—

ตัวอย่างการฝึกประกอบด้วยหนังสือ หนังสือพิมพ์ วารสาร นิตยสารวิทยาศาสตร์ ฯลฯ

ตั้งแต่ Dickens ถึง Mark Twain ตั้งแต่论文ฟิสิกส์ยุค Einstein ถึงตำราทำอาหารและคู่มือมารยาทเมื่อร้อยปีก่อน ถูกป้อนเข้าไปทั้งหมด!

การเลือกปี 1930 เป็นจุดตัดความรู้ของโมเดลก็มีเหตุผล เพราะเป็นขอบเขตที่ผลงานเข้าสู่สาธารณสมบัติตามกฎหมายลิขสิทธิ์อเมริกา

แล้วคำถามคือ ทำไม Alec Radford ถึงอยากทำโปรเจกต์นี้?

จริงๆ แล้ว Radford และทีมอยากรู้:

ถ้าให้โมเดลอ่านข้อความภาษาอังกฤษทั้งหมดก่อนปี 1931 มันจะคิด พูด และทำนายอนาคตอย่างไร?

ผลเป็นยังไง ทีมค้นพบ “เรื่องใหญ่” หลายอย่าง (เยี่ยมเลย.jpg)

โมเดลช็อกกับความก้าวหน้าของยุคจนทรุดนั่ง

การค้นพบแรกคือกราฟที่โมเดล “ช็อก” กับความก้าวหน้าของยุค—

ทีมดึงเหตุการณ์ประวัติศาสตร์เกือบ 5,000 เหตุการณ์จากคอลัมน์ On This Day ของ New York Times ป้อนให้ talkie ทั้งหมด แล้วจ้องหน้าจอดู—ว่าเจ้าคนนี้ “ไม่คาดคิด” กับแต่ละเรื่องแค่ไหน

ผลคือกราฟที่ดราม่ามากโผล่มา:

ก่อนปี 1930: talkie อ่านได้ลื่นไหล ค่าความประหลาดใจคงที่เหมือนหมาแก่ (talkie: อืม เรื่องพวกนี้ฉันรู้หมด)

ข้ามปี 1930: ค่าความประหลาดใจของ talkie เริ่มคืบคลานขึ้น (talkie: เฮ้ย เรื่องนี้เป็นแบบนี้ได้ด้วยเหรอ?)

ยุค 1950–60: ยุคทรานซิสเตอร์และทีวี ค่าความประหลาดใจของ talkie พุ่งทะยานขึ้นตรงๆ (talkie: เดี๋ยวนะ มนุษย์ขึ้นฟ้าแล้ว? แล้วกล่องขยับได้ที่เล่นละครคืออะไร?)

หลังจากนั้น—ก็สงบนิ่ง (talkie: ช็อกจนทรุดนั่ง มึนแล้ว จะอะไรก็ตามใจ)

นี่ก็เหมือนคุณยายเข้ากรุง—สงสัย เข้าใจ ยอมรับ

โมเดลนี้ยังเรียน Python ได้

แน่นอน กราฟช็อกจนทรุดนั่งไม่ใช่การค้นพบที่ระเบิดที่สุดในการวิจัยนี้ เพราะการค้นพบที่สองของทีมคือ—

AI ที่ไม่เคยเห็นคอมพิวเตอร์ กลับเรียนรู้การเขียนโค้ด Python ได้?!

ในการวิจัย ทีมโยนชุดทดสอบการเขียนโปรแกรม HumanEval ของ OpenAI ให้ talkie

ใส่ตัวอย่างฟังก์ชัน Python สองสามตัวใน prompt แล้วให้ talkie ดูแล้วแก้โจทย์ใหม่ นั่นคือให้โมเดลเรียนรู้จากบริบทแล้วใช้ทันที

ในการทดสอบนี้ ทีมยังดึง talkie-web ที่ฝึกฝนบนข้อมูลอินเทอร์เน็ตสมัยใหม่ที่มีโครงสร้างเดียวกันมาทดสอบด้วย แล้ววาดกราฟเปรียบเทียบ—

(เส้นดำ: Vintage LM, เส้นเทา: Modern LM)

ผลคือช็อกหนัก talkie แก้โจทย์ได้จริง มันเปลี่ยน +5 ในฟังก์ชันเข้ารหัสเป็น -5 แล้วส่งคำตอบ

ใช่ แค่เปลี่ยนตัวอักษรเดียว แต่คำตอบถูกต้องสมบูรณ์…

ไม่เพียงเท่านั้น ทีมพบแนวโน้มชัดเจนว่า—ยิ่งโมเดลใหญ่ ยิ่งแก้โจทย์编程ได้มาก

พูดอีกอย่างคือ แม้ยังห่างไกลจากโมเดลสมัยใหม่ แต่ความสามารถ “เรียนโค้ดจากศูนย์” ของโมเดล复古ก็คืบหน้าอย่างมั่นคงภายใต้ Scaling Law

对此 ทีมยังบอกว่าหวังว่าโมเดล复古จะช่วยให้วงการ AI เข้าใจปัญหาพื้นฐาน—LLM สามารถ generalize ไปไกลแค่ไหนนอกข้อมูลฝึกฝน

โมเดลปี 1930 vs โมเดลปี 2026

คำโบราณว่าไว้ มีเปรียบเทียบถึงมีอะไรใหม่ให้เห็น

เพื่อรู้ว่า talkie มีดีแค่ไหน ทีมใช้สถาปัตยกรรมและพลังคำนวณเดียวกัน ฝึกฝนฝาแฝดที่กินข้อมูลอินเทอร์เน็ตสมัยใหม่—talkie-web-13b

แล้วเอาโมเดลทั้งสองเข้าประลองในการทดสอบ LLM มาตรฐานต่างๆ ผลคือละเอียดอ่อนมาก:

ไม่แปลกใจ talkie-1930 ทำได้ด้อยกว่าฝาแฝดสมัยใหม่ในทางปฏิบัติ

แต่เมื่อนักวิจัยตัดโจทย์ที่เกินความรู้ (เช่น เกี่ยวกับอินเทอร์เน็ต DNA) ช่องว่างหดลงทันทีครึ่งหนึ่ง

ที่ระเบิดกว่าคือ ในงานความเข้าใจภาษาและการคำนวณคณิตศาสตร์หลัก โมเดลเก่าและใหม่ทำได้เกือบเท่ากัน

ข้อสรุปนี้ในระดับหนึ่งบอกว่า ความสามารถ “เข้าใจภาษา” และ “คิดเลข” ไม่ได้พึ่งพาการอ่านเนื้อหาอินเทอร์เน็ตสมัยใหม่มากนัก

ช่องว่างที่เหลือ ทีมคิดว่ามาจากสองสาเหตุ: หนึ่งคือคุณภาพการถอด OCR แย่ เพราะหนังสือพิมพ์ปี 1930 ถูกดึงจากสแกนอย่างยาก

สองคือการกระจายหัวข้อข้อมูลต่างกัน เช่น หนังสือพิมพ์เก่ามีเนื้อหาเทคโนโลยีน้อย มีมารยาทการทำอาหารมาก

emm… ความฉลาดที่แพงที่สุดของโมเดลใหญ่ อาจไม่เกี่ยวข้องกับ “การอ่านอินเทอร์เน็ตสมัยใหม่” มากนัก?

(talkie: ถ้าฉันเกิดปี 2026 ฉันก็จำ GitHub ได้นะเฟ้ย!)

ใช้คู่มือมารยาทปี 1930 ปรับ AI ให้เป็นผู้ช่วยแชท

ทุกคนรู้ เพื่อให้โมเดลอย่าง talkie กลายเป็นผู้ช่วย AI ที่สนทนาได้ วิธีดั้งเดิมคือใช้ข้อมูลคำสั่งสมัยใหม่อย่าง ChatGPT

แต่ปัญหาคือ การทำเช่นนี้จะฉีดสไตล์การสนทนา ค่านิยม ฯลฯ ของศตวรรษที่ 21 เข้าไปในโมเดลปี 1930

(talkie: กว่าจะเป็นคุณปู่ยุคสาธารณรัฐ พอคุณสั่งสอน ฉันก็พูดว่า “จ๊ะๆ” ทันที…)

และวิธีแก้ของทีมคืออัจฉริยะ—

พวกเขาตรงไปขุดข้อมูลฝึกฝนจากกองกระดาษเก่าก่อนปี 1930:

รวมถึงคู่มือมารยาทที่สอนตอบโต้อย่างเหมาะสม คู่มือจดหมายที่สอนตอบจดหมาย ฯลฯ แล้วใช้ Claude Sonnet 4.6 เป็นครู ฝึกเสริมกำลัง สร้างข้อมูลฝึกฝน

ด้วยคลังคำถาม-คำตอบธรรมชาติเมื่อร้อยปีนี้ ทีมสามารถปรับ talkie ให้เป็นผู้ช่วย AI ที่คุยได้

แต่ความจริงก็ตบหน้าอย่างรวดเร็ว—

ทีมพบว่า talkie เวอร์ชัน 7B ยุคแรก หลังจากฝึกเสริมกำลัง กลับเรียนรู้การใช้รูปแบบรายการ 1. 2. 3. แบบอินเทอร์เน็ตสมัยใหม่

ทั้งที่ในข้อมูลปี 1930 ไม่มีรูปแบบรายการที่ทันสมัยแบบนี้เลย…

และตัวการ—คือ Sonnet 4.6

เพราะครู Claude เป็น AI สมัยใหม่ เพราะครู Claude ชอบรูปแบบรายการ talkie จึงเรียนรู้ใช้รูปแบบรายการเพื่อให้ได้คะแนนสูง…

(จริงๆ ก็เอาอกเอาใจนะ…)

นี่สะท้อนปัญหาหนึ่งในการฝึกโมเดล นั่นคือวิธีการฝึกด้วย AI feedback ทำให้โมเดลติดสไตล์สมัยใหม่อย่างเลี่ยงไม่ได้

เพื่อแก้บั๊กใหญ่นี้ เป้าหมายถัดไปของทีมคือ: สักวันให้ talkie เป็นครูของตัวเอง (doge)

Alec Radford คือใคร

หนึ่งในสมาชิกทีมเบื้องหลัง talkie—Alec Radford ก็คุ้มค่าที่จะพูดถึง

เกี่ยวกับเขา เราอาจพูดได้ว่า โครงสร้างพื้นฐานครึ่งหนึ่งของวงการ AI วันนี้เกี่ยวข้องกับเขา

ในเกือบสิบปีที่ OpenAI เขาเป็นเทพด้านเทคนิคที่เทียบเท่า Ilya Sutskever ผู้ก่อตั้งซีรีส์ GPT รุ่นแรก—

เป็นผู้เขียนหลักของ论文 GPT-1 และ GPT-2 และเป็นผู้มีส่วนร่วมหลักใน GPT-3, GPT-4 นอกจากนี้ยังเป็นผู้นำคนหนึ่งของโมเดล多模态 CLIP และมีส่วนร่วมลึกใน Whisper, DALL·E

ใน论文เปิดตัวปี 2018 เขาเสนอ วิธีการ pre-training แบบ generative โดยใช้ Transformer เป็นครั้งแรก ซึ่งวางรากฐานสำหรับ ChatGPT และโมเดลใหญ่ทั้งหมดในภายหลัง

ปลายปี 2024 Alec ออกจาก OpenAI เจ้าเก่า หันไปทำวิจัยอิสระ ถึงมีนาคม 2025 เขาเข้าร่วม Thinking Machines Lab ที่ก่อตั้งโดย Mira Murati อดีต CTO ของ OpenAI ในฐานะที่ปรึกษา

ย้อนดูโปรเจกต์ Talkie ทั้งเรื่องนี้ชวนให้คิด—

เมื่อทั้งโลกกำลังไล่ล่า AGI และโมเดล推理 ตัวบิดาแห่งซีรีส์ GPT กลับเลือกสร้าง AI ที่มีอยู่แค่ในปี 1930 กับเพื่อนร่วมทีม

ตามแผนของทีม ฤดูร้อนนี้จะปล่อยโมเดล复古ระดับ GPT-3; อนาคตพวกเขายังวางแผนขยายคลังฝึกเป็นหนึ่งล้านล้าน tokens และครอบคลุมโลกที่ไม่ใช่ภาษาอังกฤษ

แค่ไม่รู้ว่า เมื่อ AI นี้ “ตื่น” อีกครั้ง เห็นหุ่นยนต์วิ่งมาราธอน มือถือสมาร์ทโฟนทุกคน และ Agent เต็มไปหมด—

จะชะงัก ตะลึง ทรุดนั่ง .jpg อีกไหม

(ผมวางทางเข้าใช้โมเดลไว้ด้านล่าง คนสนใจลองคุยกับ AI เมื่อร้อยปีก่อนได้～)

ลิงก์อ้างอิง:

[1] ลิงก์รายงาน: https://talkie-lm.com/introducing-talkie

[2] ลิงก์ GitHub: https://huggingface.co/talkie-lm

[3] ทางเข้าสนทนาโมเดล: https://talkie-lm.com/chat

— จบ —

ใครจะเป็นตัวแทน AI ปี 2026?

โปรเจกต์龙虾ดังสนั่น กระแส Agent และผลิตภัณฑ์衍生มาเป็นระลอก
แต่บริษัทและผลิตภัณฑ์ AI ที่ควรจับตาระยะยาว อาจมีมากกว่านี้

ถ้าคุณกำลังมีส่วนร่วมหรือเห็นการเปลี่ยนแปลงเหล่านี้ ยื่นเสนอได้
ให้คนอื่นเห็นคุณมากขึ้น 👉 https://wj.qq.com/s2/25829730/09xz/