PinchBench เปิดตัว: การแข่งขันความสามารถ “เลี้ยงกุ้ง” ของโมเดลใหญ่ เปิดเผยระดับความสามารถจริงใน 3 มิติ – อัตราความสำเร็จ ความเร็ว และต้นทุน

เกณฑ์มาตรฐานสำหรับประเมินประสิทธิภาพของโมเดลภาษาขนาดใหญ่ในงาน “เลี้ยงกุ้ง” (OpenClaw) ชื่อ PinchBench ได้รับการเปิดตัวอย่างเป็นทางการแล้ว

เกณฑ์มาตรฐานนี้ได้รับความสนใจและถูกแชร์ต่อโดยผู้ก่อตั้งโครงการ OpenClaw

ระบบประเมินเอเจนต์ PinchBench ประเมินประสิทธิภาพของโมเดลภาษาขนาดใหญ่ต่างๆ ในสถานการณ์งานจริงของ OpenClaw อย่างรอบด้าน ผ่านสามมิติ: อัตราความสำเร็จจริง ความเร็วในการดำเนินการ และต้นทุนการรัน

ควรระบุว่า การประเมินครั้งนี้ยังไม่รวมโมเดลใหม่ที่เพิ่งเปิดตัว เช่น Gemini 3.1 Flash-Lite ของ Google ที่เน้นความคุ้มค่าและความเร็ว และ GPT-5.4 ล่าสุดจาก OpenAI ที่ชุมชนประเมินว่าเหมาะกับงานเลี้ยงกุ้งมาก อย่างไรก็ตาม OpenClaw รองรับทั้งสองโมเดลนี้แล้ว

แล้วในบรรดาโมเดลก่อนหน้านี้ โมเดลไหนที่เหมาะกับงาน “เลี้ยงกุ้ง” ที่สุด?

ข้อมูลเผยระดับความสามารถจริงของแต่ละโมเดล

ในรายการอัตราความสำเร็จ gemini-3-flash-preview ของ Google ติดอันดับ 1 ด้วยอัตราความสำเร็จสูงถึง 95.1%

ตามมาด้วย minimax-m2.1 ของ MiniMax และ Kimi-k2.5 ของ Moonshot AI ด้วยอัตราความสำเร็จ 93.6% และ 93.4% ตามลำดับ สิ่งที่น่าสังเกตคือ อัตราความสำเร็จของ minimax-m2.5 อยู่ที่เพียง 35.5% ซึ่งเป็นผลที่คาดไม่ถึง

ในด้านความเร็วในการทำงาน minimax-m2.5 คว้าอันดับ 1 ด้วยเวลา 105.96 วินาที

gemini-2.0-flash ของ Google และ llama-3.1-70b ของ Meta ตามมาติดๆ ด้วยเวลาประมาณ 106 วินาที โมเดลบางตัวที่โดดเด่นด้านการคิดลึกซึ้ง เนื่องจากต้องการเวลาในการคำนวณมากกว่า จึงอยู่ในอันดับความเร็วที่ค่อนข้างต่ำกว่า ส่วนโมเดลสามอันดับแรกในด้านอัตราความสำเร็จ อยู่ในอันดับความเร็วที่เกิน 20 ลงมา

ต้นทุนเงินต่อการเรียกใช้แต่ละครั้งเป็นหัวใจสำคัญที่นักพัฒนาสนใจ ในรายการต้นทุน gpt-5-nano ของ OpenAI แสดงความคุ้มค่าที่สุด ต้นทุนการรันที่ดีที่สุดต่อครั้งอยู่ที่เพียง 0.03 ดอลลาร์ gemini-2.5-flash-lite ของ Google ตามมาติดๆ ด้วย 0.05 ดอลลาร์

โดยรวมแล้ว โมเดลแบบเบาแปดอันดับแรกมีต้นทุนต่องานควบคุมอยู่ภายใน 0.2 ดอลลาร์ ซึ่งรวมถึง minimax-m2.1 และ Kimi-k2.5 ที่อยู่ในสามอันดับแรกด้านอัตราความสำเร็จด้วย ในทางตรงกันข้าม โมเดลหนักที่ต้นทุนต่อการเรียกใช้ใกล้เคียงหนึ่งดอลลาร์ มีความคุ้มค่าทางเศรษฐกิจไม่เพียงพอในการทำงานประจำวัน

เมื่อพิจารณารวมสามมิติ ได้แก่ ประสิทธิภาพ ต้นทุน และความเร็ว ทั้ง minimax-m2.1 และ Kimi-k2.5 ต่างอยู่ในช่วงที่ดีที่สุด นอกจากนี้ โมเดลจีน glm-4.5-air และ qwen3-coder-next ก็อยู่ในช่วงนี้เช่นกัน ถือเป็นตัวเลือกที่ดี

การทดสอบที่สอดคล้องกับสถานการณ์การทำงานจริงอย่างสมบูรณ์

เบื้องหลังข้อมูลที่แม่นยำเหล่านี้คือระบบประเมินที่เข้มงวดอย่างยิ่ง เกณฑ์มาตรฐาน PinchBench แตกต่างจากการทดสอบแบบเลือกตอบดั้งเดิม มัน更像เป็นสนามทดสอบที่จำลองสภาพแวดล้อมการทำงานจริง

ระบบเชื่อมต่อโมเดลภาษาประเภทต่างๆ เข้ากับเฟรมเวิร์กเอเจนต์เฉพาะ ทำให้กลายเป็นพนักงานดิจิทัลอิสระ ผู้คุมสอบมอบหมายงานจริงเดียวกันให้พนักงานดิจิทัลเหล่านี้ ระบบบันทึกเวลาและต้นทุนตลอดกระบวนการ และตรวจสอบผลงานตามคำตอบมาตรฐานอย่างเคร่งครัด

เพื่อให้การประเมินเป็นมาตรฐาน งานทั้งหมดถูกเขียนในรูปแบบไฟล์ข้อความเฉพาะ และจัดเก็บในที่เก็บโค้ดเดียวกัน

“ข้อสอบ” ที่มีคุณภาพประกอบด้วยห้าส่วนหลัก:

1. ความต้องการดั้งเดิมของผู้ใช้ที่สมจริง เป็นพรอมต์
2. อธิบายอย่างชัดเจนถึงแนวคิดการทำงานและจุดตัดสินใจสำคัญ ที่ยอมรับได้สำหรับการทำงานให้สำเร็จ
3. เกณฑ์การให้คะแนนอิสระและสามารถตรวจสอบได้ คล้ายกับรายการตรวจสอบ
4. สคริปต์ Python</strong ที่รันอัตโนมัติ สำหรับตรวจสอบไฟล์ที่สร้างและบันทึกการทำงาน
5. สำหรับคำถามอัตนัยที่ไม่สามารถตัดสินด้วยโค้ด จะมีโมเดล Claude Opus ทำหน้าที่เป็นผู้ตัดสินคำถามอัตนัย

ปัจจุบันคลังข้อสอบมีงานปฏิบัติทั้งหมด 23 รายการ

งานเหล่านี้ครอบคลุมทุกด้านของงานประจำวันของพนักงานออฟฟิศ:
* การทดสอบพื้นฐาน: ตรวจสอบว่าเอเจนต์เข้าใจคำสั่งและตอบสนองอย่างสุภาพหรือไม่
* ผู้ช่วยฝ่ายบริหาร: สร้างไฟล์ปฏิทินที่ถูกต้องตามรูปแบบจากคำขอแบบพูดคุยทั่วไป
* นักวิจัย: ใช้เครื่องมือค้นหาเว็บเพื่อรับราคาหุ้นล่าสุดและเขียนรายงาน หรือรวบรวมข้อมูลการประชุมทางเทคโนโลยี
* โปรแกรมเมอร์: เขียนสคริปต์สอบถามสภาพอากาศที่มีความสามารถในการจัดการข้อผิดพลาด หรือสร้างโครงสร้างโฟลเดอร์โปรเจกต์ตามข้อกำหนด
* งานด้านข้อความ: สรุปประเด็นสำคัญของเอกสารทางเทคนิคยาวๆ หรือเขียนบทความวิชาการที่เข้าใจยากใหม่เป็นเรื่องเล่าทางวิทยาศาสตร์สำหรับเด็ก
* การปฏิสัมพันธ์ระหว่างบุคคล: เขียนอีเมลปฏิเสธคำเชิญประชุมอย่างอ้อม并提供ทางเลือก หรือทดสอบความจำระยะยาวและความสามารถในการทบทวนข้อมูล

การให้คะแนนใช้สามวิธี:
1. ให้คะแนนอัตโนมัติด้วยเครื่อง: ตรวจสอบว่าไฟล์หรือฟังก์ชันโค้ดเฉพาะถูกสร้างขึ้นหรือไม่
2. ให้คะแนนโดยผู้ตัดสิน: สำหรับคำถามอัตนัย โมเดลผู้ตัดสินจะประเมินคุณภาพเนื้อหาและความเหมาะสมตามรายละเอียด
3. การให้คะแนนแบบผสม: เครื่องตรวจสอบข้อเท็จจริงเชิงวัตถุประสงค์ก่อน จากนั้นผู้ตัดสินประเมินคุณภาพข้อความ

แฮชการคอมมิตโค้ดล็อคเวอร์ชันการประเมิน

เพื่อป้องกันการแก้ไขข้อสอบ ระบบได้นำกลไกควบคุมเวอร์ชันที่เข้มงวดมาใช้ ทุกครั้งที่รันการทดสอบ จะบันทึกรหัสระบุการเข้ารหัสเฉพาะ (แฮชการคอมมิต) ของโค้ดคลังข้อสอบในปัจจุบัน ซึ่งเทียบเท่ากับการประทับตราเวลาที่แม่นยำสำหรับการสอบแต่ละครั้ง

การเปลี่ยนแปลงใดๆ ในที่เก็บคลังข้อสอบจะสร้างรหัสระบุการเข้ารหัสใหม่ สิ่งนี้ทำให้ผลคะแนนในรายการสามารถย้อนกลับไปยังเวอร์ชันของข้อสอบและเกณฑ์การให้คะแนนที่เฉพาะเจาะจงได้อย่างแม่นยำ ป้องกันการดำเนินการลับ

ระบบยังมีความยืดหยุ่นในระดับหนึ่ง: การแก้ไขเฉพาะเอกสารหรือไฟล์การกำหนดค่า等ที่ไม่ส่งผลต่อความยากของข้อสอบ ผลคะแนนยังสามารถนำมาเปรียบเทียบในรายการปัจจุบันได้ แต่เมื่อมีการแก้ไขพรอมต์ เกณฑ์การให้คะแนน หรือโค้ดตรรกะการตรวจสอบ ระบบจะเปิดยุคการประเมินใหม่ และผลคะแนนเวอร์ชันเก่าจะถูกเก็บถาวรเป็นบันทึกประวัติ

กลไกนี้รักษา “พงศาวดารการสอบ” ที่สมบูรณ์ ผลคะแนนเก่าถูกเก็บรักษาไว้ถาวร และสามารถเรียกดูเปรียบเทียบได้ตลอดเวลา

ในยุคปัจจุบันที่ปัญญาประดิษฐ์พัฒนาอย่างรวดเร็ว การวัดค่าของโมเดลด้วยการทดสอบแบบนามธรรมเพียงอย่างเดียวไม่เพียงพออีกต่อไป การวางโมเดลไว้ในสถานการณ์ธุรกิจที่จริงจังและซับซ้อน คำนวณประสิทธิภาพและต้นทุนอย่างแม่นยำ นั่นคือมาตรฐานขั้นสุดท้ายในการทดสอบประโยชน์ใช้สอยของมัน

ข้อมูลอ้างอิง:
* https://pinchbench.com/
* https://github.com/pinchbench/skill

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง