130 ล้านดอลลาร์สหรัฐต่อเดือนไปกับ Token! การทดลองระบบอัตโนมัติด้วย AI ของบิดาแห่งกุ้งมังกรทำให้ทั้งโลกออนไลน์ตะลึง

คุณไม่ได้อ่านผิดแน่นอน!

ค่าใช้จ่ายรายเดือนของ Peter Steinberger บิดาแห่งกุ้งมังกร สำหรับ API token พุ่งสูงถึงกว่า 1.3 ล้านเหรียญสหรัฐฯ

ข้อมูลแสดงให้เห็นว่า ในช่วง 30 วันที่ผ่านมา เขาใช้ token ทั้งหมดสูงถึง 6030 พันล้านครั้ง และจำนวนคำขอถึง 7.6 ล้านครั้ง

มีผู้ใช้เน็ตร้องตะโกนว่า “จ้างทีมพัฒนาทั้งทีมอาจจะถูกกว่านี้”

ผู้ใช้เน็ตรายอื่นถามต่อว่า “พี่ชาย คุณควรจะแสดงฝีมือจริงๆ ออกมาบ้าง ทำสิ่งที่วิศวกรที่ได้เงินเดือนเป็นล้านเหรียญต่อปียังทำไม่ได้ มิฉะนั้น โฆษณานี้อาจจะเป็นสัญญาณของฟองสบู่ในห้องปฏิบัติการ前沿 และราคานี้ก็ยังเป็นราคาที่ได้รับการอุดหนุนอีก พระเจ้า ถ้าคิดตามต้นทุนจริงแล้ว มันคงแพงกว่านี้มาก”

Steinberger ตอบกลับว่า “หลังจากที่ฉันปิดโหมดเร็ว ราคาลดลงทันที 70% ดังนั้น เมื่อคิดแล้วก็เท่ากับค่าใช้จ่ายของพนักงานคนเดียว”

ยังมีคนที่เยาะเย้ยตรงๆ ว่า “เดือนละ 1.3 ล้านเหรียญ? แต่คุณกลับไม่ส่งมอบอะไรเลย คุณคืออัจฉริยะด้านการตลาดที่แย่ที่สุดในประวัติศาสตร์”

Steinberger ก็โต้กลับเช่นกัน “พูดไม่ถูกนะพี่ คำจำกัดความของ ‘ไม่ส่งมอบอะไรเลย’ ของคุณมันพิเศษเกินไปหน่อย”

Steinberger ยังกล่าวอีกว่า “โค้ดทั้งหมดนี้เขียนด้วย Codex ส่วน Pull Request ที่ยุ่งเหยิงและฉันมาจัดระเบียบทีหลังนั้น น่าจะเขียนโดย Claude”

หลังจากเปิดเผยค่าใช้จ่าย token ที่สูงลิ่วและก่อให้เกิดการถกเถียงอย่างร้อนแรง Steinberger ก็ตอบกลับอย่างรวดเร็ว โดยบอกว่าเขากำลังพยายามตอบคำถามที่ว่า:

“ถ้า Token ไม่สำคัญอีกต่อไป เราจะสร้างซอฟต์แวร์ในอนาคตอย่างไร?”

เรารัน Codex ประมาณ 100 ตัวบนคลาวด์ตลอดเวลา ตรวจสอบทุก PR ทุก issue ทันทีที่มีการแก้ไขรวมเข้ากับ main branch @clawsweeper ก็จะไปหา issue เก่าที่ค้างอยู่ 6 เดือน และปิดมันพร้อมการอ้างอิงที่แม่นยำ

เราจะรัน Codex ทุกครั้งที่มี commit เพื่อตรวจสอบปัญหาด้านความปลอดภัย เพราะปัญหาเหล่านี้มันพลาดได้ง่ายมาก

เราจะใช้ Codex ในการ deduplicate issue ค้นหาคลัสเตอร์ และส่งรายงานเกี่ยวกับปัญหาที่เร่งด่วนที่สุด

เรามี Agent ที่สามารถจำลองสภาพแวดล้อมที่ซับซ้อน เปิดเครื่อง crabbox.sh ชั่วคราว เข้าสู่ระบบแพลตฟอร์มอย่าง Telegram บันทึกวิดีโอ และเผยแพร่การเปรียบเทียบก่อนและหลังการแก้ไขใน PR

ยังมี Codex บางตัวที่คอยตรวจสอบ issue ใหม่ ถ้ามันสอดคล้องกับวิสัยทัศน์ผลิตภัณฑ์ที่เราเขียนไว้แล้ว ก็จะสร้าง PR ให้โดยอัตโนมัติ จากนั้น Codex อีกตัวก็จะไปตรวจสอบ PR นั้นอีกครั้ง

เรายังรัน Codex เพื่อสแกนสแปมในความคิดเห็นและแบนผู้ใช้ที่เกี่ยวข้อง

เรารันอินสแตนซ์ Codex เพื่อตรวจสอบ benchmark ด้านประสิทธิภาพ และรายงานปัญหา regression ไปยัง Discord

เรามี Agent ที่คอยฟังการประชุมของเราและเริ่มทำงานอย่างกระตือรือร้น เช่น เมื่อเรากำลัง讨论ฟีเจอร์ใหม่ในที่ประชุม พวกมันจะสร้าง PR ขึ้นมาในระหว่างที่เรากำลังคุยกัน

เราสร้าง clawpatch.ai เพื่อแยกโปรเจกต์ทั้งหมดออกเป็นหน่วยฟังก์ชัน ใช้ตรวจสอบ ค้นหา Bug และปัญหา regression

ในด้านความปลอดภัย เราก็ทำการแยกแบบเดียวกัน และรวมกับ deepsec ของ Vercel และ Codex Security เพื่อค้นหา regression และช่องโหว่

ระบบอัตโนมัติทั้งหมดนี้ ทำให้เราสามารถดำเนินโปรเจกต์นี้ด้วยทีมที่เล็กมาก

คำถามคือ ใครเป็นคนรับผิดชอบค่าใช้จ่ายที่สูงขนาดนี้? เห็นได้ชัดว่าไม่ใช่ตัวเขาเอง

“OpenAI ไม่คิดค่าใช้จ่าย token จากฉัน”

Tokenmaxxing: การแข่งขันปริมาณการประมวลผลนี้จะคงอยู่ได้นานแค่ไหน

นี่ฆ่าการแข่งขันทันที

ช่วงที่ผ่านมา วงการ AI พูดถึง Tokenmaxxing กันอย่างร้อนแรง บริษัทใหญ่ๆ อย่าง Meta และ Amazon ถึงกับเปิดเผยอันดับการใช้ Token ภายในบริษัท ทำให้การใช้เครื่องมือ AI และการ消耗 Token กลายเป็น KPI ประจำวันของพนักงาน

ในตอนนั้น ผู้ใช้รายบุคคลอันดับหนึ่งของ Meta ใช้ token เฉลี่ย 2810 พันล้านครั้ง ซึ่งตามราคาของโมเดลต่างๆ อาจหมายถึงค่าใช้จ่ายหลายล้านเหรียญสหรัฐฯ ส่วน Peter Steinberger บิดาแห่งกุ้งมังกร ใช้ token ถึง 6030 พันล้านครั้งในหนึ่งเดือน นี่คือการโจมตีแบบลดระดับมิติ

Karpathy อดีตนักวิทยาศาสตร์ของ Tesla และ OpenAI ยอมรับในพอดแคสต์ว่าเขาก็รู้สึกถึงแรงกดดันในการใช้ AI ให้มากที่สุด “ประเด็นสำคัญอยู่ที่ token ปริมาณ token throughput ของคุณคือเท่าไหร่? คุณสามารถ调动 token throughput ได้มากแค่ไหน?”

Token ค่อยๆ กลายเป็นปัจจัยการผลิตแบบใหม่ หรือแม้กระทั่งเป็นหน่วยวัดความหนาแน่นในการทำงานของ AI ทีมหนึ่ง หากมี token throughput ที่สูงพอ มีวิธีการแยกงานที่完善พอ และมีวงจรปิดการตรวจสอบที่เชื่อถือได้ ก็อาจจะสามารถรันความหนาแน่นของงานที่ทีมขนาดใหญ่ในอดีตเท่านั้นที่จะทำได้

เมื่อกี้เอง Greg Brockman ประธาน OpenAI ทวีตว่า “Token กำลังกลายเป็นอินพุตทั่วไปสำหรับการแก้ปัญหาอย่างรวดเร็ว”

แต่เราเชื่อว่า Token ไม่ได้ชนะที่ปริมาณ เหมือนกับที่บิดาแห่งกุ้งมังกรสร้างระบบอัตโนมัติของ Agent เพื่อการพัฒนา โมเดลการจัดการโปรเจกต์ที่ดี อาจเป็นกุญแจสำคัญสู่ชัยชนะ