มัสก์เผยพารามิเตอร์ Claude โดยไม่ตั้งใจ! Sonnet 1T, Opus 5T ยืนยันแล้ว? ผู้ใช้อินเทอร์เน็ตใช้ 4 วิธีคาดการณ์ขนาดโมเดล

มัสก์เผยพารามิเตอร์ Claude โดยไม่ตั้งใจ? Sonnet 1T, Opus 5T กลายเป็นประเด็นร้อน

การโต้ตอบของอีลอน มัสก์บนโซเชียลมีเดียเมื่อเร็วๆ นี้ ได้จุดชนวนให้เกิดการคาดการณ์อย่างกว้างขวางเกี่ยวกับขนาดพารามิเตอร์ของโมเดล Claude จาก Anthropic โดยไม่คาดคิด คำพูดของเขาถูกตีความโดยผู้ใช้อินเทอร์เน็ตว่าเป็นการยืนยันโดยอ้อมถึงขนาดพารามิเตอร์ของ Claude Sonnet และ Opus

จุดเริ่มต้นของเหตุการณ์คือ มัสก์โพสต์ข้อความเปิดเผยว่า คลัสเตอร์ซูเปอร์คอมพิวเตอร์ Colossus 2 ของบริษัท xAI ของเขากำลังฝึกชุดโมเดลต่างๆ โดยโมเดลที่ใหญ่ที่สุดมีพารามิเตอร์สูงถึง 10 ล้านล้าน (10T) รายการที่เขาระบุรวมถึง:

Imagine V2
โมเดลรูปแบบแปรผัน 2 รุ่น ขนาดพารามิเตอร์ 1 ล้านล้าน (1T)
โมเดลรูปแบบแปรผัน 2 รุ่น ขนาดพารามิเตอร์ 1.5 ล้านล้าน (1.5T)
โมเดลขนาดพารามิเตอร์ 6 ล้านล้าน (6T)
โมเดลขนาดพารามิเตอร์ 10 ล้านล้าน (10T)

หมายเหตุ: Colossus 2 เป็นส่วนหนึ่งของแผนใหญ่ของ xAI ตามข้อมูลเดือนสิงหาคม 2025 คลัสเตอร์นี้ได้ติดตั้งเครื่องทำความเย็นแบบระบายความร้อนด้วยอากาศ 119 เครื่อง ให้ความสามารถในการระบายความร้อนประมาณ 200MW สามารถรองรับ GPU GB200 NVL72 ได้ประมาณ 110,000 ตัว เป้าหมายสุดท้ายคือการติดตั้ง GPU มากกว่า 550,000 ตัว

ในการโต้ตอบต่อมา เมื่อมีผู้ใช้สอบถามเกี่ยวกับขนาดเฉพาะของโมเดล Grok 4.2 ของเขา มัสก์ตอบกลับว่า:

จำนวนพารามิเตอร์ทั้งหมดคือ 0.5T (5 แสนล้าน) Grok ในปัจจุบัน มีจำนวนพารามิเตอร์เป็นครึ่งหนึ่งของ Sonnet และหนึ่งในสิบของ Opus

คำตอบนี้ถูกจับตาดูและตีความโดยผู้ใช้อินเทอร์เน็ตอย่างรวดเร็ว: ดูเหมือนจะหมายความว่าจำนวนพารามิเตอร์ของ Claude Sonnet อยู่ที่ประมาณ 1T ในขณะที่ Opus อยู่ที่ 5T

เมื่อถูกถามว่าเขารู้รายละเอียดพารามิเตอร์ของโมเดลคู่แข่งได้อย่างไร มัสก์ไม่ได้ตอบกลับอีก แต่เหตุการณ์เล็กๆ นี้ได้จุดประกายความอยากรู้อยากเห็นของชุมชนเทคโนโลยีเกี่ยวกับขนาดของโมเดลปิดต้นทางอย่าง Claude อีกครั้ง

ผู้ใช้อินเทอร์เน็ตคาดการณ์ขนาดพารามิเตอร์ของ Claude อย่างไร?

Anthropic ไม่เคยเปิดเผยจำนวนพารามิเตอร์ของโมเดล Claude อย่างเป็นทางการ แต่สิ่งนี้ไม่ได้หยุดยั้งชุมชนจากการประมาณการด้วยวิธีการต่างๆ วิธีการคาดการณ์หลักส่วนใหญ่หมุนรอบสี่ประเภทต่อไปนี้:

• วิธีการประมาณย้อนกลับจากต้นทุนการอนุมานและปริมาณงาน: อาศัยต้นทุนการอนุมานและความเร็วการตอบสนองของ API โมเดล ร่วมกับสัมประสิทธิ์ประสบการณ์ในอุตสาหกรรม เพื่อประมาณย้อนกลับจำนวนพารามิเตอร์ที่ถูกกระตุ้นใช้งานและจำนวนพารามิเตอร์ทั้งหมด
• วิธีการเปรียบเทียบมาตรฐานประสิทธิภาพ: นำผลการทดสอบมาตรฐานสาธารณะต่างๆ ของ Claude ไปเปรียบเทียบกับโมเดลโอเพ่นซอร์สหรือปิดต้นทางที่มีพารามิเตอร์ทราบค่า เพื่ออนุมานขนาดของมัน
• วิธีการวิเคราะห์ข้อมูลภายในและข่าวลือ: รวบรวมข้อมูลไม่เป็นทางการที่รั่วไหลจากหลายฝ่าง ทิศทางการรับสมัครงาน และข่าวลือในอุตสาหกรรมเพื่อตรวจสอบไขว้
• วิธีการวิเคราะห์คุณลักษณะโครงสร้าง: ผ่านการวิเคราะห์พฤติกรรมของโมเดลในงานต่างๆ เช่น บริบทยาวและโซ่ความคิด เพื่อคาดเดาโครงสร้างที่อาจใช้ เช่น ผู้เชี่ยวชาญผสม (MoE) จากนั้นประมาณช่วงพารามิเตอร์

การอภิปรายโดยรวมของชุมชนแสดงให้เห็นว่า จำนวนพารามิเตอร์โดยประมาณของ Claude 4.6 Sonnet เวอร์ชันล่าสุดอยู่ที่ประมาณ 1-2T และ Claude 4.6 Opus อยู่ที่ประมาณ 1.5-5T ซึ่งทับซ้อนกับคำพูด “Sonnet 1T, Opus 5T” ที่มัสก์ “เผย” ออกมา

การคาดการณ์พารามิเตอร์ของ Claude 3 Series

Claude 3 Series ที่เปิดตัวในเดือนมีนาคม 2024 ได้กำหนดเมทริกซ์ผลิตภัณฑ์ Haiku (ขนาดเล็ก), Sonnet (ขนาดกลาง), Opus (ขนาดใหญ่) เป็นครั้งแรก Alan D. Thompson นักวิเคราะห์อุตสาหกรรมเคยประมาณจำนวนพารามิเตอร์ของพวกมันว่า: Haiku ประมาณ 2 หมื่นล้าน (20B), Sonnet ประมาณ 7 หมื่นล้าน (70B), Opus ประมาณ 2 ล้านล้าน (2T) ชุมชน Reddit ก็มีการอภิปรายว่า พารามิเตอร์ของ Claude 3 Sonnet อาจอยู่ระหว่าง 1.5 แสนล้านถึง 2.5 แสนล้าน (150-250B)

การคาดการณ์พารามิเตอร์ของ Claude 3.5 Series

Claude 3.5 Sonnet ที่เปิดตัวตามมาแสดงประสิทธิภาพโดดเด่นในหลายด้าน ความเร็วของมันเป็นสองเท่าของ Claude 3 Opus โดยมีต้นทุนเพียงหนึ่งในห้า ตามการประมาณการอุตสาหกรรมในเอกสารวิชาการที่เผยแพร่โดย Microsoft และสถาบันอื่นๆ จำนวนพารามิเตอร์ของ Claude 3.5 Sonnet อยู่ที่ประมาณ 1.75 แสนล้าน (175B) เอกสารเดียวกันยังประมาณโมเดลอื่นๆ ในช่วงเวลาเดียวกัน: ChatGPT ประมาณ 175B, GPT-4 ประมาณ 1.76T, GPT-4o ประมาณ 200B

การคาดการณ์พารามิเตอร์ของ Claude 4 Series และเวอร์ชันต่อมา

เมื่อเข้าสู่ยุค Claude 4 การประมาณการพารามิเตอร์ของชุมชนมีความแตกต่างมากขึ้น สำหรับ Claude Opus 4 และ Sonnet 4 ช่วงการประมาณการของอุตสาหกรรมอยู่ระหว่าง 3-5 แสนล้าน (300-500B) และ 5-10 หมื่นล้าน (50-100B) ตามลำดับ

Opus 4.1 ในเวลาต่อมาถือเป็นการอัปเดตเล็กน้อย มีผู้ใช้ Hacker News วิเคราะห์ว่า Anthropic อาจทดลองใช้ขนาดพารามิเตอร์超大 (ประมาณ 6T โดยใช้โครงสร้าง MoE) ในเวอร์ชันนี้ จากนั้น Opus 4.5 ที่เปิดตัวตามมาได้เพิ่มประสิทธิภาพผ่านเทคโนโลยีต่างๆ เช่น การกลั่นความรู้ ขนาดพารามิเตอร์อาจลดลงเหลือประมาณ 2T จึงทำให้ได้ความเร็วที่เร็วขึ้นและต้นทุนที่ต่ำลง

ซีรีส์ 4.5 ที่เปิดตัวต้นปีนี้และซีรีส์ 4.6 ล่าสุด มีความสามารถในการทำงานต่างๆ เช่น การดำเนินการคอมพิวเตอร์ การเขียนโปรแกรม การวิจัยเชิงลึก ที่เพิ่มขึ้นอย่างต่อเนื่อง อย่างไรก็ตาม เมื่อการพัฒนารุ่นโครงสร้างโมเดลและเทคโนโลยีมีความซับซ้อนมากขึ้น การประมาณขนาดพารามิเตอร์อย่างแม่นยำจากพฤติกรรมภายนอกก็ยากขึ้นเรื่อยๆ

การวิเคราะห์วิศวกรรมย้อนกลับทางเทคนิคที่เผยแพร่บนแพลตฟอร์ม Substack โดยลงนามว่า “unexcitedneurons” ได้ประมาณจำนวนพารามิเตอร์ที่ถูกกระตุ้นใช้งานของ Claude Opus 4.5 และ 4.6 ผ่านข้อมูลปริมาณงาน Token ของ OpenRouter บนแพลตฟอร์ม Google Vertex และ Amazon Bedrock

ผู้เขียนใช้โมเดล MoE โอเพ่นซอร์สสามรุ่นเป็นเกณฑ์มาตรฐานการปรับเทียบ คำนวณแบนด์วิดท์หน่วยความจำที่มีประสิทธิภาพของแพลตฟอร์ม Vertex ได้ประมาณ 4.0–4.5 TB/s และได้ข้อสรุปดังต่อไปนี้:
* จำนวนพารามิเตอร์ที่ถูกกระตุ้นใช้งานของ Opus 4.6 ที่ความแม่นยำ FP8 อยู่ที่ประมาณ 93–105B
* หากสมมติว่าโมเดลใช้การกำหนดค่าชั้นหนาแน่นความแม่นยำ FP8 ร่วมกับชั้นผู้เชี่ยวชาญผสมความแม่นยำ FP4 จำนวนพารามิเตอร์ที่ถูกกระตุ้นใช้งานของ Opus 4.6 จะอยู่ที่ประมาณ 127–154B

เมื่อรวมกับแผนการความเบาบางของผู้เชี่ยวชาญที่แตกต่างกัน ผู้เขียนสรุปในที่สุดว่า Opus 4.5 ไม่ได้มีขนาดพารามิเตอร์ระดับ 10T+ ตามข่าวลือ แต่เป็นโมเดลที่มีขนาดเล็กกว่ามาก มีแนวโน้มว่าจะถูกกลั่นมาจาก Claude Opus 4/4.1 ที่มีพารามิเตอร์ขนาดใหญ่กว่า ขนาดพารามิเตอร์ของมันควรอยู่ระหว่าง 1.5T ถึง 2T ผู้เขียนคาดว่า พารามิเตอร์ของ Claude Opus 4/4.1 เองมีแนวโน้มสูงที่จะอยู่ที่ประมาณ 5T-6T

การอนุมานนี้สามารถได้รับการยืนยันจากด้านข้างจากกลยุทธ์การกำหนดราคา API: ราคาอินพุต/เอาต์พุตของ Claude Opus 4.1 อยู่ที่ 15 ดอลลาร์/75 ดอลลาร์ ต่อล้าน Token ในขณะที่ราคาของ Claude Opus 4.5/4.6 อยู่ที่เพียง 5 ดอลลาร์/25 ดอลลาร์ ต่อล้าน Token ราคาลดลงเหลือหนึ่งในสามของเดิม

นอกจากวิเคราะห์โมเดลที่เผยแพร่แล้ว ทีม Anthropic ยังเผยโมเดลที่ยังไม่เปิดตัวซึ่งมีรหัสภายในว่า “Capybara” – Claude Mythos โดยไม่ตั้งใจ เนื่องจากข้อผิดพลาดในการกำหนดค่าสิทธิ์

ไฟล์ที่รั่วไหลใช้คำว่า “ก้าวกระโดดเชิงคุณภาพ” เพื่ออธิบาย Mythos หลายครั้ง ในด้านความสามารถเฉพาะ เมื่อเทียบกับ Claude Opus 4.6 แล้ว Mythos ได้คะแนนสูงขึ้นอย่างมีนัยสำคัญในการทดสอบต่างๆ เช่น การเข้ารหัสซอฟต์แวร์ การให้เหตุผลทางวิชาการ และความปลอดภัยทางไซเบอร์ ถูกเรียกว่าเป็นโมเดล AI ที่ทรงพลังที่สุดที่ Anthropic พัฒนามาจนถึงปัจจุบัน

มีข่าวลือว่า โมเดลนี้มีจำนวนพารามิเตอร์สูงถึง 10T

ลิงก์อ้างอิง:
1. https://x.com/lifetimization/status/2042285703162397167
2. https://www.reddit.com/r/ClaudeAI/comments/1ixuxln/estimate_of_model_size_for_claude_37/
3. https://lifearchitect.substack.com/p/the-memo-special-edition-claude-3
4. https://arxiv.org/pdf/2412.19260v1
5. https://medium.com/@bob.mashouf/claude-4-vs-llama-4-benchmarking-55b99c17d3f7
6. https://news.ycombinator.com/item?id=47319205
7. https://unexcitedneurons.substack.com/p/estimating-the-size-of-claude-opus

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง

☕ สนับสนุนค่ากาแฟทีมงาน

หากคุณชอบบทความนี้ สามารถสนับสนุนเราได้ผ่าน PromptPay

SCAN TO PAY WITH ANY BANK