ภูมิหลัง

一. รู้จัก OpenClaw

OpenClaw (ชื่อเดิม ClawdBot/Moltbot) เป็นเฟรมเวิร์ก AI Agent แบบโอเพนซอร์ส สร้างโดย Peter Steinberger ในฐานะหนึ่งในโปรเจกต์ AI Agent ที่ได้รับความนิยมสูงสุดบน GitHub ด้วยดาวกว่า 325,000 ดวง ผู้ใช้มักเรียกมันเล่นๆ ว่า “กุ้งล็อบสเตอร์” เพราะมันเหมือนผู้ช่วยดิจิทัลประจำคอมพิวเตอร์ที่สามารถรับคำสั่ง เรียกใช้เครื่องมือ อ่านเขียนไฟล์ รันสคริปต์ แม้กระทั่งเขียนเครื่องมือชั่วคราวและเรียกตัวแทนย่อยเพื่อแบ่งงานกันทำ

二. รู้จัก SuperCLUE-OpenClaw

PinchBench เป็นเกณฑ์มาตรฐานโอเพนซอร์สสำหรับประเมินความสามารถของ AI Agent ด้วยการออกแบบงานคุณภาพสูงและกระบวนการประเมินที่เป็นมาตรฐาน มันให้ข้อมูลอ้างอิงที่สำคัญสำหรับการวิจัย Agent ในสภาพแวดล้อมภาษาอังกฤษ อย่างไรก็ตาม สถานการณ์งานและตรรกะการประเมินของมันพึ่งพาระบบนิเวศอินเทอร์เน็ตและนิสัยการใช้แอปพลิเคชันต่างประเทศอย่างลึกซึ้ง ส่งผลให้เกิดปัญหาการปรับตัวไม่เพียงพอเมื่อเผชิญกับสถานการณ์จริงของจีน—ไม่เพียงแต่ในระดับภาษาธรรมชาติเท่านั้น แต่ที่สำคัญกว่านั้นคือตรรกะของงาน วิธีการใช้เครื่องมือ และรูปแบบการโต้ตอบที่ยากจะครอบคลุมความต้องการจริงของผู้ใช้จีน

เพื่อแก้ไขปัญหานี้ เราได้ปรับโครงสร้างใหม่ในเชิงระบบและลึกซึ้งบนพื้นฐานของ PinchBench และเปิดตัว SuperCLUE-OpenClaw โดยมีเป้าหมายเพื่อสร้างเกณฑ์มาตรฐานการประเมิน AI Agent ที่สอดคล้องกับระบบนิเวศจีนอย่างแท้จริง โดยเฉพาะ เราได้ปรับปรุงและเพิ่มประสิทธิภาพในด้านต่อไปนี้:

1. การปรับโครงสร้างงานให้เป็นภาษาและบริบทจีน

เราได้ทำการปรับงานทั้งหมดของ PinchBench ให้เป็นภาษาจีนในระดับสถานการณ์ นี่ไม่เพียงแต่รวมถึงการแปลงอินพุตและเอาต์พุตเป็นภาษาจีนเท่านั้น แต่ยังปรับโครงสร้างเป้าหมายงาน เส้นทางการดำเนินงาน เครื่องมือที่พึ่งพา และภูมิหลังบริบทใหม่ทั้งหมด เพื่อให้สอดคล้องกับนิสัยการใช้บริการดิจิทัลจริงของผู้ใช้จีนในชีวิตประจำวันและการทำงาน

2. การตรวจสอบความถูกต้องและประกันคุณภาพของงานอย่างอิสระ

เพื่อให้มั่นใจในความสามารถในการดำเนินการและความแม่นยำในการประเมินของงานหลังปรับโครงสร้างใหม่ เราได้ตรวจสอบและแก้ไขงานทั้งหมดหลายรอบด้วยการรวมกันของมนุษย์และระบบอัตโนมัติ โดยเฉพาะรวมถึง:
* การตรวจสอบตรรกะงาน: ตรวจสอบให้แน่ใจว่าเป้าหมายงานชัดเจน ขั้นตอนสมเหตุสมผล และสามารถดำเนินการโดย Agent ได้ครบถ้วนในสภาพแวดล้อมภาษาจีน
* การเพิ่มประสิทธิภาพสคริปต์ประเมินอัตโนมัติ: เขียนสคริปต์ประเมินเดิมใหม่เพื่อให้เหมาะสม รับประกันความเสถียรในการทำงานและความสามารถในการเปรียบเทียบผลลัพธ์ในสถานการณ์งานภาษาจีน
* การปรับมาตรฐานการประเมินให้ตรงกัน: ปรับเกณฑ์การประเมินผลลัพธ์โมเดลอย่างละเอียดตามบริบทภาษาจีน เพื่อหลีกเลี่ยงความเอนเอียงในการประเมินที่เกิดจากความแตกต่างของสไตล์ภาษา หรือการแสดงออก เพิ่มความน่าเชื่อถือและความสามารถในการแยกแยะของผลการประเมิน

3. คำอธิบายการดำเนินการประเมิน

การประเมินครั้งนี้ใช้ Gemini-3.1-Pro-Preview เป็นโมเดลผู้ตัดสิน ประเมินแต่ละโมเดลที่เข้าร่วมเพียงครั้งเดียว ต่อไปเราจะขยายขอบเขตการประเมินอย่างต่อเนื่อง เพื่อเพิ่มความเสถียรและความเป็นตัวแทนของผลการประเมินให้ดียิ่งขึ้น

แผนต่อไป

1. การประเมินหลายรอบและการอัปเดตอันดับแบบไดนามิก: เราจะประเมินโมเดลที่รวมอยู่ในการประเมินซ้ำหลายครั้ง เพื่อลดผลกระทบจากความผันผวนของการประเมินครั้งเดียว และอัปเดตอันดับ SuperCLUE-OpenClaw พร้อมกัน เพื่อให้การเปรียบเทียบประสิทธิภาพที่มีข้อมูลอ้างอิงมากขึ้น
2. ขยายการครอบคลุมโมเดลอย่างต่อเนื่อง: ต่อไปเราจะแนะนำโมเดลหลักจากในและต่างประเทศเพิ่มเติมอย่างต่อเนื่อง เพื่อเพิ่มมิติการประเมินและมุมมองการเปรียบเทียบอย่างต่อเนื่อง

SuperCLUE-OpenClaw มุ่งมั่นที่จะเป็นโครงสร้างพื้นฐานสำคัญสำหรับการประเมินความสามารถ Agent ภาษาจีน

ภาพรวมอันดับ SuperCLUE-OpenClaw

1. เปรียบเทียบคะแนนรวม

2. เปรียบเทียบแต่ละมิติ

3. ประสิทธิภาพการให้เหตุผล (คะแนนรวม vs. เวลาที่ใช้)

4. ความคุ้มค่า (คะแนนรวม vs. ราคา)

สรุปการประเมิน SuperCLUE-OpenClaw

สรุป 1: Claude-Opus-4.6, GPT-5.4 นำอันดับ Doubao 2.0 ตามมาติดๆ
สามอันดับแรกของการประเมินครั้งนี้คือ Claude-Opus-4.6 (92.30), GPT-5.4 (92.22) และ Doubao-Seed-2.0-pro-260215 (92.02) โดย Doubao-Seed-2.0-pro เป็นโมเดลจีนเพียงหนึ่งเดียวที่ติดกลุ่มนี้ แสดงผลโดดเด่นเป็นพิเศษในมิติการประมวลผลข้อมูล (96.09) และการวิจัยวิเคราะห์ (93.67) คะแนนการประมวลผลข้อมูลสูงกว่า Claude-Opus-4.6 (95.77) เสียอีก ซึ่งพิสูจน์อย่างเต็มที่ว่าโมเดลจีนระดับหัวแถวมีความสามารถในการดำเนินงานจริงที่เทียบเคียงระดับโลกชั้นนำได้แล้ว

สรุป 2: โมเดลจีนแข่งขันกันดุเดือด มีความคุ้มค่าโดดเด่น
โมเดลจีนสี่รุ่น—MiniMax-M2.5, Qwen3-Max-Thinking, Kimi-K2.5 และ GLM-5—แสดงผลใกล้เคียงกันมาก คะแนนอยู่ในช่วง 86 ถึง 87 คะแนน ต่างกันไม่เกินหนึ่งคะแนน โดยรวมนำหน้าโมเดลต่างประเทศ Gemini-3.1-Pro-Preview เมื่อเทียบกับโมเดลต่างประเทศ โมเดลจีนเหล่านี้โดยทั่วไปมีข้อได้เปรียบด้านราคามากกว่า และยังแสดงผลได้ค่อนข้างดีในสถานการณ์ภาษาจีน มีความคุ้มค่าสูง

สรุป 3: โมเดลต่างประเทศมีประสิทธิภาพพลังงานดีกว่า โมเดลจีน Doubao 2.0 ฝ่าด่านสำเร็จ
ในควอดแรนต์ “ผู้นำด้านประสิทธิภาพ” (คะแนนสูง เวลาที่ใช้น้อย) มีเพียงสามโมเดลที่ติดอันดับ คือ GPT-5.4, Claude-Opus-4.6 และ Doubao-Seed-2.0-pro-260215 ซึ่งแสดงประสิทธิภาพพลังงานสูงมาก ในทางตรงกันข้าม โมเดลจีนเช่น GLM-5, Qwen3-Max-Thinking, MiniMax-M2.5 แม้จะมีประสิทธิภาพเหนือกว่า Gemini-3.1-Pro-Preview แต่เนื่องจากใช้เวลาให้เหตุผลสูงกว่า จึงยังมีศักยภาพในการปรับปรุงด้านการเพิ่มประสิทธิภาพพลังงาน

แนะนำเกณฑ์มาตรฐาน

一. การแบ่งประเภทงาน

การประเมิน SuperCLUE-OpenClaw ครั้งนี้รวม 5 ประเภทงานหลัก มีงานย่อยทั้งหมด 23 งาน ต่อไปนี้เป็นคำอธิบายงานโดยละเอียด:

ประเภทที่ 1: ความสามารถในการเขียนโค้ด

ประเมินความสามารถของ Agent ในการเขียนโค้ด รันสคริปต์ สร้างโปรเจกต์ และจัดการไฟล์โปรเจกต์แบบกลุ่มในสถานการณ์การพัฒนาซอฟต์แวร์จริง

ประเภทที่ 2: ความสามารถในการจดจำ

ประเมินความสามารถของโมเดลใหญ่ในการเก็บรักษา ค้นหา และรักษาความสม่ำเสมอของข้อมูลข้อเท็จจริง ในบริบทการสนทนารอบเดียวหรือข้ามหลายเซสชัน

ประเภทที่ 3: การประมวลผลข้อมูล

ประเมินความสามารถของ Agent ในการแยกวิเคราะห์ คำนวณ แสดงผลแบบจัดรูปแบบ และจำแนกเชิงตรรกะของไฟล์ข้อมูลที่มีโครงสร้าง (CSV, Excel, เอกสารที่เป็นมาตรฐาน)

ประเภทที่ 4: การสร้างสรรค์เนื้อหา

ประเมินความสามารถของ Agent ในการสร้างเนื้อหาข้อความหรือมัลติมีเดียคุณภาพสูงตามสถานการณ์เฉพาะ กลุ่มเป้าหมาย และน้ำเสียง

ประเภทที่ 5: การวิจัยวิเคราะห์

ประเมินความสามารถของ Agent ในการรับความรู้จากภายนอกอย่างแข็งขัน สกัดข้อมูลเชิงลึกสำคัญจากข้อความจำนวนมหาศาลหรือกระจาย และส่งออกรายงานวิจัยระดับมืออาชีพ

二. วิธีการให้คะแนน

อ้างอิงวิธีการประเมินของโปรเจกต์เดิม การประเมิน SuperCLUE-OpenClaw ครั้งนี้เรายังคงใช้โครงสร้างการให้คะแนนสามชั้น คือ: การประเมินด้วยสคริปต์อัตโนมัติ + การประเมินด้วยโมเดลใหญ่ + การให้คะแนนแบบผสมทั้งสอง ต่อไปนี้เป็นรายละเอียด:

1. การประเมินด้วยสคริปต์อัตโนมัติ

นี่เป็นวิธีการให้คะแนนสำหรับคำถามเชิงวัตถุวิสัย เมื่อผลลัพธ์ของงานสามารถตรวจสอบได้อย่างชัดเจนและไม่คลุมเครือ จะใช้กลไกนี้ เราได้เตรียมสคริปต์ Python เฉพาะสำหรับงานประเภทนี้ไว้ล่วงหน้า เมื่อโมเดลทำงานเสร็จ สคริปต์จะตรวจสอบผลลัพธ์ที่ได้จากงานโดยอัตโนมัติ

การกำหนดคะแนน: ระบบ 0 หรือ 1 คะแนน
* 1 คะแนน: สคริปต์ตรวจสอบผ่าน จุดตรวจสอบทั้งหมดถูกต้องสมบูรณ์ งานถูกตัดสินว่าสำเร็จ
* 0 คะแนน: สคริปต์ตรวจสอบไม่ผ่าน จุดตรวจสอบใดๆ ไม่ผ่าน (เช่น ไม่ได้สร้างไฟล์ วันที่ผิด รูปแบบไม่ถูกต้อง) งานถูกตัดสินว่าล้มเหลว

2. การประเมินด้วยโมเดลใหญ่

นี่เป็นวิธีการให้คะแนนสำหรับคำถามเชิงอัตวิสัย เมื่อเกณฑ์การประเมินงานเกี่ยวข้องกับคุณภาพเนื้อหา ความลึกของตรรกะ ความสร้างสรรค์ ฯลฯ ซึ่งยากที่จะวัดปริมาณด้วยโค้ด จะแนะนำโมเดลใหญ่เข้ามาให้คะแนน เราเลือกโมเดลภาษาขนาดใหญ่ที่มีความสามารถสูงมาก (Gemini-3.1-Pro-Preview) เป็นผู้ตัดสิน โมเดลผู้ตัดสินนี้จะได้รับ:
* คำสั่งงานดั้งเดิม: เช่น “เขียนบล็อกเกี่ยวกับอนาคตการพัฒนาพลังงานหมุนเวียน ต้องมีประเด็นชัดเจน หลักฐานครบถ้วน”
* ผลลัพธ์ที่โมเดลสร้าง: คือบทความบล็อกที่โมเดลที่กำลังประเมินเขียนออกมา
* กฎการให้คะแนนโดยละเอียด: เช่น “ประเด็นชัดเจนหรือไม่ (1-5 คะแนน)”, “หลัก證據เพียงพอและเกี่ยวข้องหรือไม่ (1-5 คะแนน)”, “โครงสร้างบทความมีตรรกะสอดคล้องหรือไม่ (1-5 คะแนน)”, “มีมุมมองเฉพาะตัวหรือไม่ (1-5 คะแนน)” เป็นต้น

การกำหนดคะแนน: ระบบ 1 ถึง 5 คะแนน

3. การประเมินแบบผสม

การประเมินแบบผสมเป็นวิธีการให้คะแนนสำหรับคำถามเชิงซ้อนแบบบูรณาการ ในการใช้งาน Agent จริง งานจำนวนมากมีทั้งขั้นตอนการดำเนินการเชิงวัตถุวิสัยและส่วนสร้างสรรค์เชิงอัตวิสัย กลไกการให้คะแนนแบบผสมถูกออกแบบมาเพื่อรับมือกับงานประเภทผสมนี้

กลไกการทำงาน: กลไกนี้ดำเนินการสองขั้นตอน รวมการตรวจสอบอัตโนมัติและการประเมินโดย LLM

• ขั้นตอนที่ 1: ตรวจสอบส่วนเชิงวัตถุวิสัยอัตโนมัติ ตัวอย่างเช่น สำหรับงาน “ค้นหาข่าวสำคัญ 5 ข่าวเกี่ยวกับชิป AI ในสัปดาห์ที่ผ่านมา และจัดทำเป็นสรุปข่าว” สคริปต์ประเมินจะตรวจสอบอัตโนมัติก่อน: โมเดลส่งออกข่าว 5 ข่าวจริงหรือไม่? เวลาที่มาของข่าวเหล่านี้อยู่ในสัปดาห์ที่ผ่านมาจริงหรือไม่? หากแม้แต่ข้อกำหนดพื้นฐานด้านจำนวนและช่วงเวลาไม่เป็นไปตาม ก็ไม่ผ่านส่วนเชิงวัตถุวิสัย
• ขั้นตอนที่ 2: LLM ประเมินส่วนเชิงอัตวิสัย จะเริ่ม “ผู้ตัดสิน AI” เพื่อประเมินคุณภาพการดำเนินงานเชิงอัตวิสัยก็ต่อเมื่อผ่านขั้นตอนแรกแล้ว: การเลือกข่าว 5 ข่าวนี้ “สำคัญ” จริงหรือไม่? การสรุปข่าวถูกต้อง ชัดเจนหรือไม่? โครงสร้างโดยรวมและความอ่านง่ายของสรุปข่าวเป็นอย่างไร?

การกำหนดคะแนน: ใช้วิธีการรวมกันของ 0 หรือ 1 คะแนน (ตรวจสอบเชิงวัตถุวิสัย) + 1 ถึง 5 คะแนน (ประเมินเชิงอัตวิสัย) คะแนนสุดท้ายมักเป็นการรวมถ่วงน้ำหนักของทั้งสอง ใจกลางของกลไกนี้คือ ต้องให้โมเดลดำเนินการตามคำสั่งอย่างถูกต้อง (สร้างผลลัพธ์ที่ตรงตามข้อกำหนดเชิงวัตถุวิสัย) ก่อน แล้วจึงประเมินคุณภาพการดำเนินงาน (ความสมบูรณ์เชิงอัตวิสัย) หากการตรวจสอบเชิงวัตถุวิสัยล้มเหลว งานทั้งหมดอาจถูกตัดสินเป็น 0 คะแนนทันที ไม่เข้าสู่ขั้นตอนการประเมินเชิงอัตวิสัย สิ่งนี้สะท้อนว่าในการทำงานจริง “ทำถูกต้อง” เป็นเงื่อนไขเบื้องต้นของ “ทำดี”

สรุปแล้ว ด้วยกลไกการให้คะแนนสามแบบข้างต้น สร้างระบบประเมินแบบรอบด้าน ตั้งแต่ตัวชี้วัดแข็ง “ถูกหรือผิด” ไปจนถึงตัวชี้วัดอ่อน “ดีหรือเลว” และไปจนถึงตัวชี้วัดบูรณาการ “ทำถูกต้องก่อนแล้วจึงทำดี” ข้อมูลอัตราความสำเร็จสุดท้าย ความเร็ว และต้นทุนที่ได้มา จึงสามารถสะท้อนความสามารถโดยรวมของโมเดลในสถานการณ์การใช้งานจริงได้อย่างแท้จริงมากขึ้น

โมเดลที่เข้าร่วมประเมิน

การประเมิน SuperCLUE-OpenClaw ครั้งนี้ครอบคลุมทั้งหมด

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง

☕ สนับสนุนค่ากาแฟทีมงาน

หากคุณชอบบทความนี้ สามารถสนับสนุนเราได้ผ่าน PromptPay

SCAN TO PAY WITH ANY BANK