ทำลายกำแพงภาษา: ใช้เซลล์ประสาทออโตมาตาเพื่อฝึกโมเดลขนาดใหญ่ล่วงหน้า เพิ่มประสิทธิภาพ 6% และเสริมความสามารถในการให้เหตุผล

หากวันหนึ่งโมเดลภาษาขนาดใหญ่ไม่ต้องพึ่งพาภาษามนุษย์ในการฝึกฝนอีกต่อไป จะเกิดอะไรขึ้น?

ในช่วงไม่กี่ปีที่ผ่านมา ความก้าวหน้าทางความสามารถของโมเดลขนาดใหญ่มักตั้งอยู่บนพื้นฐานหนึ่ง: ข้อมูลข้อความปริมาณมหาศาล อย่างไรก็ตาม เมื่อทรัพยากรข้อความคุณภาพสูงเริ่มใกล้ถึงขีดจำกัด นักวิจัยเริ่มตั้งคำถามที่ลึกซึ้งยิ่งขึ้น: ภาษา คือ จุดเริ่มต้นของความฉลาดจริงหรือ?

งานวิจัยล่าสุดให้คำตอบที่น่าประหลาดใจ: บางทีอาจไม่ใช่ ทีมวิจัยตั้งสมมติฐานว่า การให้โมเดลภาษาได้รับการ “ฝึกก่อนการฝึกเบื้องต้น” (pre-pre-training) บนข้อมูลสังเคราะห์ที่ไม่มีภาษาใดๆ เลย ก่อนที่จะเรียนรู้ภาษา อาจนำมาซึ่งผลลัพธ์ที่ดีกว่า

พวกเขาใช้แหล่งข้อมูลที่แตกต่างไปโดยสิ้นเชิง: ออโตมาตาเซลลูลาร์ประสาท (Neural Cellular Automata, NCA) ข้อมูลประเภทนี้ถูกสร้างขึ้นโดยอัลกอริทึมทั้งหมด ไม่มีเนื้อหาภาษาใดๆ นักวิจัยทำการฝึกก่อนการฝึกเบื้องต้นให้กับโมเดล Transformer บนข้อมูลที่สร้างจาก NCA ก่อน จากนั้นจึงทำการฝึกเบื้องต้นมาตรฐานบนคลังข้อความภาษาธรรมชาติ

ผลลัพธ์แสดงให้เห็นว่า วิธีนี้สามารถเพิ่มประสิทธิภาพการสร้างแบบจำลองภาษาได้สูงสุดถึง 6% เร่งความเร็วการลู่เข้าของการฝึกได้ 40% และเพิ่มความสามารถในการให้เหตุผลของโมเดลในงานปลายทาง ผลลัพธ์นี้ดีกว่าโมเดลฐานที่ได้รับการฝึกก่อนการฝึกเบื้องต้นบนข้อความธรรมชาติเสียอีก

• ชื่อบทความวิจัย: Training Language Models via Neural Cellular Automata
• ลิงก์บทความวิจัย: https://arxiv.org/pdf/2603.10055
• บล็อก: https://hanseungwook.github.io/blog/nca-pre-pre-training/

สมมติฐานหลัก: โครงสร้างสำคัญกว่าความหมาย

สมมติฐานหลักของบทความนี้คือ สิ่งที่ทำให้ภาษาเหมาะสำหรับการฝึกเบื้องต้น อาจไม่ใช่ความหมายของมัน แต่เป็นโครงสร้างที่ซับซ้อน ที่ภาษามีอยู่ หากข้อสันนิษฐานนี้เป็นจริง ข้อมูลที่มีโครงสร้างอุดมสมบูรณ์เช่นเดียวกัน แต่ไม่ได้อยู่ในรูปแบบภาษา ก็อาจถูกใช้เพื่อฝึกระบบอัจฉริยะได้ในทางทฤษฎี

จากพื้นฐานนี้ การศึกษานี้เสนอให้ใช้ NCA ในการสร้างข้อมูลสังเคราะห์ที่ไม่ใช่ภาษา เพื่อใช้ในการฝึกก่อนการฝึกเบื้องต้นสำหรับโมเดลภาษาขนาดใหญ่ นี่คือกระบวนทัศน์การฝึกแบบเป็นขั้นตอน: โมเดลเรียนรู้โครงสร้างของลำดับ NCA ก่อน จากนั้นจึงฝึกเบื้องต้นบนคลังข้อความภาษาธรรมชาติ และสุดท้ายปรับแต่งสำหรับงานปลายทาง

ออโตมาตาเซลลูลาร์ประสาท: แหล่งข้อมูลที่มีโครงสร้าง

ข้อมูล NCA มีโครงสร้างเชิงกาล-อวกาศที่อุดมสมบูรณ์ คุณลักษณะทางสถิติของมัน (เช่น การกระจายแบบหางหนัก) มีความคล้ายคลึงกับภาษาธรรมชาติในบางแง่มุม ในขณะเดียวกันก็สามารถควบคุมและสร้างได้ในปริมาณมากด้วยต้นทุนต่ำ

NCA สามารถมองได้ว่าเป็นรูปแบบทั่วไปของออโตมาตาเซลลูลาร์คลาสสิก เช่น “เกมชีวิตของคอนเวย์”: มันกำหนดกฎการเปลี่ยนแปลงในระดับท้องถิ่นผ่านเครือข่ายประสาทเทียม ทำให้สามารถสร้างการกระจายข้อมูลที่หลากหลายอย่างยิ่ง กลไกนี้สามารถสร้างรูปแบบเชิงกาล-อวกาศระยะยาวในขนาดใดก็ได้ และแสดงกฎทางสถิติที่คล้ายคลึงกับข้อมูลธรรมชาติ

ในกรอบนี้ เครือข่ายประสาทเทียมที่ถูกกำหนดค่าเริ่มต้นแบบสุ่มแต่ละเครือข่ายจะสอดคล้องกับชุดกฎการเปลี่ยนแปลงที่เป็นเอกลักษณ์ ส่งผลให้เกิดพลวัตเชิงกาล-อวกาศที่หลากหลายบนกริด ตั้งแต่รูปแบบคงที่ง่ายๆ ไปจนถึงโครงสร้างซับซ้อนที่วิวัฒนาการไปตามเวลา NCA สามารถแสดงสเปกตรัมของรูปแบบพลวัตที่อุดมสมบูรณ์ได้อย่างมาก

วิธีการฝึกและความสามารถสำคัญ

วิถีการเปลี่ยนแปลงของ NCA เหล่านี้จะถูกทำให้เป็นแบบไม่ต่อเนื่องเป็นลำดับ (ผ่านการประมวลผลแบบแบ่งเป็นแพตช์คล้ายกับ Vision Transformer) จากนั้นจึงป้อนเข้าสู่ Transformer มาตรฐาน และฝึกผ่านงานทำนายโทเค็นถัดไป

ประเด็นสำคัญคือ: เนื่องจากแต่ละลำดับสอดคล้องกับกฎการเปลี่ยนแปลงแฝงที่เป็นเอกลักษณ์ โมเดลต้องอนุมานกฎนี้จากบริบท เพื่อที่จะทำนายสถานะถัดไปได้อย่างถูกต้อง และความสามารถในการอนุมานและนำกฎไปใช้ในบริบทนี้เองที่เป็นพื้นฐานของความสามารถในการให้เหตุผลหลักหลายประการในโมเดลภาษา

ผลการทดลอง: ประสิทธิภาพเหนือกว่าทุกด้าน

ภายใต้งบประมาณโทเค็นเดียวกัน (164 ล้านโทเค็น) โมเดลที่ได้รับการฝึกก่อนการฝึกเบื้องต้นด้วย NCA มีประสิทธิภาพดีกว่าวิธีการต่อไปนี้:
* การฝึกตั้งแต่เริ่มต้น
* การฝึกก่อนการฝึกเบื้องต้นด้วยข้อมูลภาษาธรรมชาติ (คลังข้อมูล C4)
* การฝึกก่อนการฝึกเบื้องต้นด้วยข้อมูลสังเคราะห์อื่นๆ (เช่น ภาษาวงเล็บ Dyck)

ข้อได้เปรียบนี้ปรากฏให้เห็นในงานข้อความเว็บ คณิตศาสตร์ และโค้ด การปรับปรุงไม่เพียงแสดงให้เห็นในความเร็วการลู่เข้าที่เร็วขึ้นเท่านั้น แต่ยังรวมถึงการบรรลุค่า perplexity ที่ต่ำกว่าในที่สุด ซึ่งหมายถึงประสิทธิภาพสุดท้ายที่แข็งแกร่งขึ้น

ที่สำคัญกว่านั้น การปรับปรุงประสิทธิภาพในการสร้างแบบจำลองภาษานี้ สามารถถ่ายโอนไปยังการทดสอบมาตรฐานการให้เหตุผลจริงได้อย่างมีประสิทธิภาพ:

การค้นพบที่น่าประหลาดใจยิ่งกว่า: ประสิทธิภาพเหนือกว่าขนาด

การศึกษาพบว่า ในขนาดข้อมูลที่เท่ากัน ข้อมูล NCA ที่ไม่ใช่ภาษากลับมีประสิทธิภาพดีกว่าข้อมูลภาษาธรรมชาติ เพื่อทดสอบเพิ่มเติม ผู้เขียนทดสอบว่า: หากให้ข้อมูลภาษาธรรมชาติ (C4) มีปริมาณข้อมูลมากกว่าประมาณ 10 เท่า (1.6 พันล้านโทเค็น) ในขณะที่ NCA ยังคงอยู่ที่ 164 ล้านโทเค็น ผลลัพธ์จะเป็นอย่างไร?

การทดลองแสดงให้เห็นว่า แม้จะอยู่ในสภาวะเสียเปรียบด้านขนาดข้อมูลอย่างชัดเจน โมเดลที่ฝึกด้วย NCA ยังคงแสดงผลดีกว่า:
* ความเร็วการลู่เข้าเร็วขึ้น 1.4 เท่า
* ค่า perplexity สุดท้ายลดลงประมาณ 5%

ข้อมูลออโตมาตา 164 ล้านโทเค็น เอาชนะภาษาธรรมชาติ 1.6 พันล้านโทเค็นได้

ผู้เขียนเชื่อว่าความแตกต่างนี้สะท้อนถึงธรรมชาติของความสามารถที่แหล่งข้อมูลต่างกันสอนให้กับโมเดล ในขนาดที่ค่อนข้างเล็ก ข้อมูลภาษาธรรมชาติส่วนใหญ่สอนให้โมเดลเรียนรู้รูปแบบทางสถิติระดับตื้นและในระดับท้องถิ่น ในขณะที่แต่ละลำดับ NCA บังคับให้โมเดลทำการอนุมานกฎจากบริบท และนำกฎนั้นไปใช้อย่างสม่ำเสมอในการทำนาย เมื่อเทียบกับรูปแบบที่ซ้ำกันจำนวนมากในภาษาธรรมชาติ ข้อมูล NCA ให้สัญญาณการเรียนรู้โครงสร้างฟังก์ชันที่หลากหลายและ “บริสุทธิ์” มากขึ้นในแต่ละโทเค็น ดังนั้นจึงช่วยให้โมเดลสร้างความสามารถในการแสดงผลทั่วไปที่สามารถถ่ายโอนได้อย่างมีประสิทธิภาพมากขึ้น

ปัจจัยสำคัญที่ขับเคลื่อนการถ่ายโอน

การศึกษาวิเคราะห์เพิ่มเติมว่าอะไรเป็นตัวขับเคลื่อนการถ่ายโอนความสามารถจาก NCA ไปยังงานภาษา:

1. ชั้นความสนใจเป็นตัวนำหลัก: การทดลองกำหนดค่าเริ่มต้นใหม่แสดงให้เห็นว่าชั้นความสนใจเป็นตัว承载การคำนวณพื้นฐานที่สามารถถ่ายโอนได้มากที่สุด ในขณะที่ชั้น MLP เข้ารหัสความรู้เฉพาะโดเมนมากขึ้น และสามารถถ่ายโอนได้น้อยกว่า
2. ความซับซ้อนต้องตรงกัน: ความซับซ้อนของ NCA ที่ดีที่สุดจะเปลี่ยนแปลงตามขอบเขตการประยุกต์ใช้ งานโค้ดได้รับประโยชน์จากกฎพลวัตที่ค่อนข้างง่าย ในขณะที่งานคณิตศาสตร์และข้อความเว็บชอบโครงสร้างที่ซับซ้อนกว่า สิ่งนี้ให้วิธีการใหม่สำหรับการฝึกที่ปรับแต่งสำหรับโดเมนเฉพาะ
3. โครงสร้าง ไม่ใช่ความหมาย: ข้อมูล NCA ไม่มีเนื้อหาภาษาใดๆ เลย แต่สามารถฝึกโมเดลให้ติดตามการพึ่งพาระยะยาวและอนุมานกฎแฝงได้ ซึ่งทั้งหมดนี้เป็นความสามารถหลักที่จำเป็นสำหรับการทำความเข้าใจภาษาและการให้เหตุผล
4. ประสิทธิภาพเหนือกว่าขนาด: ข้อมูลสังเคราะห์ที่มากขึ้นไม่จำเป็นต้องดีกว่า เมื่อเทียบกับการเพิ่มปริมาณข้อมูลเพียงอย่างเดียว การปรับเทียบความซับซ้อนของกลไกการสร้างข้อมูลมีความสำคัญมากกว่า ทำให้สามารถฝึกฝนอย่างมีประสิทธิภาพด้วยทรัพยากรการคำนวณที่น้อยลง

สัญญาณการฝึกที่บริสุทธิ์กว่า

ในขนาดโทเค็นที่ค่อนข้างเล็ก การฝึกเบื้องต้นภาษาธรรมชาติมักทำให้โมเดลพึ่งพาทางลัดเชิงความหมายและความรู้เบื้องต้นเกี่ยวกับการเกิดร่วมของคำเพื่อทำนาย แทนที่จะเรียนรู้โครงสร้างการให้เหตุผลเชิงลึก ในทางตรงกันข้าม ลำดับ NCA ไม่มีทางลัดเชิงความหมายเช่นนี้เลย บังคับให้โมเดลเรียนรู้จากโครงสร้างของข้อมูลเอง ดังนั้นจึงอาจให้สัญญาณการฝึกที่บริสุทธิ์และมีประสิทธิภาพมากขึ้น

แต่ละวิถีการเปลี่ยนแปลงของ NCA ถูกสร้างขึ้นโดยกฎการเปลี่ยนสถานะแฝงหนึ่งกฎ ซึ่งมาจากเครือข่ายประสาทเทียมที่สุ่มตัวอย่างมา โมเดลต้องอาศัยข้อมูลบริบทเพียงอย่างเดียวเพื่ออนุมานกฎนี้ เนื่องจากลำดับนั้นไม่มีเนื้อหาความหมายใดๆ การทำนายแต่ละโทเค็นจึงบังคับให้โมเดลดำเนินการอนุมานกฎจากบริบท: สังเกตลำดับ → สมมติกฎแฝง → นำกฎไปใช้อย่างต่อเนื่องในการทำนายครั้งต่อๆ ไป

กระบวนการนี้จำลองความสามารถหลักอย่างหนึ่งของโมเดลภาษาได้อย่างมีประสิทธิภาพ: การเรียนรู้จากบริบท

นอกจากนี้ กฎของ NCA มาจากหมวดหมู่ทั่วไปของฟังก์ชันที่คำนวณได้ ซึ่งบางกฎสามารถนำไปใช้กับระบบที่สมบูรณ์แบบทัวริงได้ ดังนั้น พื้นที่ของการกระจายกฎจึงกว้างใหญ่ไพศาล ไม่สามารถครอบคลุมได้ด้วยการจำง่ายๆ โมเดลถูกบังคับให้เรียนรู้กลไกการอนุมานกฎทั่วไป แทนที่จะจดจำตัวอย่างกฎเฉพาะ

ผลการทดลองสนับสนุนมุมมองนี้: โครงสร้างที่สามารถถ่ายโอนได้มากที่สุดส่วนใหญ่อยู่ในชั้นความสนใจ ไม่ใช่ในชั้น MLP การศึกษาที่มีอยู่แสดงให้เห็นว่าการเกิดขึ้นของความสามารถในการเรียนรู้จากบริบทมีความสัมพันธ์อย่างใกล้ชิดกับการก่อตัวของ “หัวอุปนัย” (inductive head) หัวอุปนัยเป็นวงจรความสนใจประเภทหนึ่งที่สามารถระบุรูปแบบจากส่วนหน้าของลำดับและคัดลอกนำไปใช้กับตำแหน่งต่อๆ ไป

และกระบวนการฝึกก่อนการฝึกเบื้องต้นของ NCA ให้รางวัลเฉพาะพฤติกรรมประเภทนี้เท่านั้น ดังนั้นจึงมีแนวโน้มสูงที่จะส่งเสริมการก่อตัวของวงจรความสนใจที่สำคัญเช่นนี้ให้เกิดขึ้นเร็วขึ้นและมั่นคงขึ้น ก่อนที่การฝึกภาษาจริงจะเริ่มต้นขึ้น

ก้าวข้ามวิธีการฝึกแบบ “เหมาโหล”

การศึกษานี้นำเสนอมิติการควบคุมใหม่สำหรับการฝึกโมเดลภาษา ในอดีต การกระจายของข้อมูลการฝึกมักถูกมองว่าเป็นเงื่อนไขที่กำหนดไว้แล้ว แต่ตอนนี้ เราสามารถปรับโครงสร้างของข้อมูลสังเคราะห์ให้ตรงกับความต้องการของโดเมนเป้าหมายเฉพาะได้ดีขึ้น

ตัวอย่างเช่น สำหรับงานโค้ด สามารถใช้กฎ NCA ที่ง่ายกว่า ในขณะที่ในสถานการณ์ที่ต้องการจับการพึ่งพาระยะยาว เช่น การสร้างแบบจำลองลำดับยีน สามารถออกแบบกฎที่มีโครงสร้างพลวัตระยะยาวที่อุดมสมบูรณ์กว่าได้

วิสัยทัศน์ระยะยาวของทิศทางนี้คือ: ให้โมเดลพื้นฐานได้รับความสามารถในการให้เหตุผลที่มั่นคงผ่านข้อมูลสังเคราะห์ล้วนๆ ก่อน จากนั้นจึงเรียนรู้ความหมายผ่านคลังข้อความภาษาธรรมชาติส่วนเล็กๆ ที่คัดสรรมาอย่างดี

ด้วยวิธีนี้ เราอาจสามารถสร้างสถาปัตยกรรมโมเดลใหม่ที่มีความสามารถในการให้เหตุผลที่แข็งแกร่ง แต่จะไม่สืบทอดอคติต่างๆ ที่มีอยู่ในข้อความของมนุษย์ตั้งแต่ช่วงเริ่มต้น

ดังนั้น คำถามจึงไม่ใช่อีกต่อไปว่า “การฝึกเบื้องต้นด้วยข้อมูลสังเคราะห์เป็นไปได้หรือไม่” แต่เป็น “มันจะก้าวไปได้ไกลแค่ไหน”

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง