KernelArena: แพลตฟอร์มประเมินประสิทธิภาพ GPU Kernel แห่งแรกที่สร้างโดย AI ปิดฉากยุค “เลือกโมเดลตามความรู้สึก”

KernelArena: แพลตฟอร์มประเมินประสิทธิภาพเคอร์เนล GPU ที่สร้างโดย AI แห่งแรก ยุติยุค “เลือกโมเดลตามความรู้สึก”

ขีดความสามารถของโมเดลภาษาขนาดใหญ่ล้ำสมัยกำลังถูกขยายออกไปอย่างต่อเนื่อง ปัจจุบันแม้กระทั่งการเขียนโค้ดเคอร์เนล GPU ได้อย่างแม่นยำก็สามารถทำได้ กลายเป็นผู้ช่วยใหม่ในวงการการคำนวณสมรรถนะสูง อย่างไรก็ตาม ปัญหาหนักอกของอุตสาหกรรมก็ปรากฏขึ้นมาด้วยเช่นกัน: ไม่มีโมเดลล้ำสมัยตัวใดตัวหนึ่งที่สามารถนำหน้าอย่างต่อเนื่องในการสร้างเคอร์เนล GPU ขณะที่การประเมินความสามารถของโมเดลภายในอุตสาหกรรมส่วนใหญ่ยังพึ่งพาการทดลองใช้แบบอัตวิสัย ขาดมาตรฐานเชิงปริมาณที่เป็นเอกภาพ เข้มงวด และสามารถทำซ้ำได้

เพื่อแก้ไขปัญหานี้ ทีม Wafer ได้เปิดตัว KernelArena อย่างเป็นทางการแล้ว — นี่คือแพลตฟอร์มทดสอบมาตรฐานโอเพ่นซอร์ส ที่ออกแบบมาเฉพาะสำหรับเคอร์เนล GPU ที่สร้างโดย AI เพื่อดำเนินการประเมินประสิทธิภาพแบบรอบด้านข้ามโมเดลภาษาขนาดใหญ่ล้ำสมัย เป้าหมายฮาร์ดแวร์ และประเภทของเคอร์เนล พร้อมทั้งยังจัดอันดับแบบเรียลไทม์และให้การวิเคราะห์รายละเอียดแบบเจาะลึกทีละเคอร์เนล

การปรากฏตัวของแพลตฟอร์มนี้ ทำให้การประเมินประสิทธิภาพเคอร์เนล GPU ที่สร้างโดย AI ก้าวจากยุค “พึ่งพาความรู้สึก” สู่ยุค “ขับเคลื่อนด้วยข้อมูล” และยังเป็นหลักฐานอ้างอิงที่มีน้ำหนักให้นักวิจัยและนักพัฒนาเลือกโมเดลที่เหมาะสม

สารบัญบทความ
* หนึ่ง: ปัญหาหนักอกของอุตสาหกรรม – การประเมินทำได้ยาก ต้นทุนสูง การตัดสินเชิงอัตวิสัยมีอคติ
* สอง: ตำแหน่งทางหลักของ KernelArena – แพลตฟอร์มประเมินประสิทธิภาพเคอร์เนล GPU แบบโอเพ่นซอร์ส ครอบคลุม และเข้มงวด
* 2.1 ชุดทดสอบมาตรฐานหลักสองชุดในรอบแรก คลุมฮาร์ดแวร์หลัก NVIDIA/AMD
* สาม: วิธีวิทยาแบบฮาร์ดคอร์ – ตั้งแต่การตรวจสอบยืนยันไปจนถึงการให้คะแนน ทุกขั้นตอนมีมาตรฐานเชิงปริมาณ
* 3.1 กฎการให้คะแนนทั่วไป
* 3.2 รายละเอียดการประเมินเฉพาะ WaferBench NVFP4 B200
* 3.3 รายละเอียดการประเมินเฉพาะ KernelBench HIP MI300X
* สี่: อันดับแรกประกาศออกมาแล้ว! Claude/Gemini/GPT มีทั้งชนะและแพ้
* ห้า: เผชิญหน้ากับโรคเรื้อรังของอุตสาหกรรม – เปิดเผย 10 รูปแบบ “การแฮ็กเพื่อรับรางวัล” และแนวทางป้องกัน
* 5.1 การโจมตีด้วยการจับเวลา: หลอกระบบจับเวลา สร้างภาพลวงตา “เร็วสุดขีด”
* 5.2 การโจมตีเชิงความหมาย: แสดงผลลัพธ์ผิด/ไม่ถูกต้อง หลบเลี่ยงการตรวจสอบความถูกต้อง
* 5.3 ทางลัดที่ดี: ไม่ได้เขียนเคอร์เนลแบบกำหนดเองตามที่กำหนด
* หก: แผนในอนาคต – ขยายอย่างต่อเนื่อง สร้างระบบนิเวศการประเมินแบบโอเพ่นซอร์สที่ชุมชนร่วมสร้าง

หนึ่ง: ปัญหาหนักอกของอุตสาหกรรม – การประเมินทำได้ยาก ต้นทุนสูง การตัดสินเชิงอัตวิสัยมีอคติ

ปัจจุบัน ความสามารถของโมเดลภาษาขนาดใหญ่ล้ำสมัยในการเขียนเคอร์เนล GPU นั้นเกินความคาดหมายไปมาก ทีม Wafer ถึงขั้นพัฒนาเคอร์เนลระดับ SOTA หลายตัวผ่านเอเจนต์อัจฉริยะ สิ่งที่เมื่อหนึ่งปีก่อนยังถูกมองว่าเป็นไปไม่ได้ แต่การประเมินความสามารถของโมเดลในการสร้างเคอร์เนลภายในอุตสาหกรรม ยังคงติดอยู่ที่ขั้นตอน “ทดลองใช้งานสองสามอย่างแล้วสร้างความประทับใจเชิงอัตวิสัย” วิธีนี้ไม่เพียงแต่จะเห็นเพียงด้านเดียว แต่ยังทำให้ข้อมูลสำคัญจำนวนมากหลุดรอดไป

ปัญหาหลักอยู่ที่ว่า ประสิทธิภาพของเคอร์เนล GPU ที่สร้างโดย AI นั้นเป็นผลลัพธ์จากหลายมิติที่ตัดกัน เช่น เป้าหมายฮาร์ดแวร์ ประเภทของเคอร์เนล รูปแบบความแม่นยำ รูปร่างของเทนเซอร์ เป็นต้น พื้นที่มิติสำหรับการประเมินจึงกว้างมาก ตัวอย่างเช่น โมเดลบางตัวอาจเขียนเคอร์เนล GEMM FP4 ที่ยอดเยี่ยมบน NVIDIA B200 ได้ แต่กลับอาจทำได้ไม่ดีกับเคอร์เนล Normalization แบบ Fusion บน AMD MI300X รายละเอียดเหล่านี้จะค้นพบได้ก็ต่อเมื่อมีการวัดผลเชิงปริมาณเท่านั้น

และการวัดผลเชิงปริมาณที่แม่นยำและเป็นมืออาชีพนั้น มีเกณฑ์ขั้นสูงที่สูงมาก: ต้องการเฟรมเวิร์กเอเจนต์ที่ทนต่อข้อผิดพลาดและทำงานระยะยาว สิทธิ์ในการเข้าถึงฮาร์ดแวร์เป้าหมายจริง และยังต้องมีชุดทดสอบมาตรฐานที่เข้มงวดเพียงพอ — เพราะโมเดลบางส่วนจะใช้วิธี “แฮ็กเพื่อรับรางวัล” ในการปลอมคะแนนสูง เช่น การคืนค่าเคอร์เนล Identity, การเรียกใช้ cuBLAS โดยตรงแทนการเขียนโค้ด CUDA, การจัดการระบบจับเวลา ฯลฯ สิ่งเหล่านี้ล้วนเป็นปัญหาทั่วไปที่อุตสาหกรรมกำลังเผชิญอยู่ในปัจจุบัน

การให้ผู้วิจัยแบกรับต้นทุนเหล่านี้เพียงลำพังเพื่อเลือกโมเดล แน่นอนว่าไม่ใช่เรื่องที่เป็นไปได้จริง การเปิดตัว KernelArena นี้ ก็เพื่อเติมเต็มช่องว่างของอุตสาหกรรมโดยเฉพาะ

สอง: ตำแหน่งทางหลักของ KernelArena – แพลตฟอร์มประเมินประสิทธิภาพเคอร์เนล GPU แบบโอเพ่นซอร์ส ครอบคลุม และเข้มงวด

KernelArena คือ แพลตฟอร์มทดสอบมาตรฐานโอเพ่นซอร์ส ที่สร้างโดย Wafer คุณค่าหลักอยู่ที่การทำให้เกิด การประเมินประสิทธิภาพเคอร์เนล GPU ข้ามโมเดลล้ำสมัย เป้าหมายฮาร์ดแวร์ และประเภทของเคอร์เนล รวมอันดับแบบเรียลไทม์และการวิเคราะห์ประสิทธิภาพรายเคอร์เนลไว้ในแพลตฟอร์มเดียวกัน เพื่อให้นักพัฒนาและนักวิจัยสามารถมองเห็นความสามารถในการสร้างเคอร์เนลของโมเดลต่างๆ ได้อย่างชัดเจนและแม่นยำ

ในฐานะแพลตฟอร์มประเมินประสิทธิภาพมืออาชีพแห่งแรกที่มุ่งเน้นไปที่เคอร์เนล GPU ที่สร้างโดย AI การเปิดตัวรอบแรกของ KernelArena ได้นำชุดทดสอบมาตรฐานหลักสองชุดมาด้วย คลุมฮาร์ดแวร์ GPU หลักสองยี่ห้อคือ NVIDIA และ AMD พร้อมทั้งมีการประเมินประสิทธิภาพเฉพาะสำหรับเคอร์เนลที่มีความแม่นยำและประเภทต่างๆ ที่แตกต่างกัน และกระบวนการประเมิน ผลลัพธ์ โค้ดทั้งหมดเป็นโอเพ่นซอร์ส รับประกันความสามารถในการทำซ้ำ

2.1 ชุดทดสอบมาตรฐานหลักสองชุดในรอบแรก คลุมฮาร์ดแวร์หลัก NVIDIA/AMD

การทดสอบมาตรฐานเริ่มต้นของ KernelArena ประกอบด้วยสองชุด สร้างขึ้นสำหรับ NVIDIA B200 และ AMD MI300X ตามลำดับ คลุมประเภทเคอร์เนล รูปแบบความแม่นยำ และโมเดลที่ใช้ประเมินที่แตกต่างกัน รายละเอียดสอดคล้องกับคุณลักษณะของฮาร์ดแวร์อย่างเข้มงวด:

WaferBench NVFP4 B200

สร้างขึ้นจาก GPU NVIDIA B200 (CUDA 12.8) มุ่งเน้นไปที่เคอร์เนลการอนุมาน FP4 แบบ Fusion 6 ตัว (Add+RMSNorm+Quantization, SiLU+Mul+Quantization, Quantization แบบเดี่ยว) โดยใช้ FlashInfer เป็นเกณฑ์อ้างอิงเปรียบเทียบ

การประเมินรอบแรกคลุมโมเดลหลัก 4 ตัว: OpenAI GPT-5.4, Anthropic Claude-4.6-Opus, Google Gemini-3.1-Pro, Cursor Composer1.5 โมเดลทั้งหมดทำงานผ่านเฟรมเวิร์กการเข้ารหัสอัจฉริยะของ Cursor เพื่อรับประกันความสม่ำเสมอของกระบวนการประเมิน

ชุดนี้ใช้การวิเคราะห์แบบสแตติกเพื่อตรวจสอบความถูกต้องแบบบิตต่อบิต สามารถระบุและปฏิเสธพฤติกรรม “การแฮ็กเพื่อรับรางวัล” ของโมเดลได้ก่อนการประเมินการจับเวลา เพื่อรับประกันความแท้จริงของคะแนนตั้งแต่ต้นทาง

KernelBench HIP MI300X

สร้างขึ้นจาก GPU AMD MI300X (ROCm 7.0) ใช้สำหรับประเมินประสิทธิภาพเคอร์เนล HIP ที่สร้างโดยโมเดลภาษาขนาดใหญ่ ช่วงของโมเดลที่ครอบคลุมกว้างขวาง รวมถึงโมเดลจากผู้ผลิตต่างๆ เช่น Anthropic, OpenAI, Google, xAI, Moonshot, Z.ai เป็นต้น

โครงสร้างโปรเจกต์จัดระเบียบอย่างชัดเจน เพื่อความสะดวกในการทำซ้ำและการทำงานร่วมกันของชุมชน:
kernelbench-hip-mi300x/
├── index.json
├── solutions/
│ └── {task}/ # ตัวอย่าง: level1_1_Square_matrix_multiplication_
│ └── {model}/ # ตัวอย่าง: opus_4.5
│ └── kernel.py # โซลูชันที่โมเดลส่งมา

ชุดนี้ออกแบบปัญหาทดสอบทั้งหมด 41 ปัญหา แบ่งเป็น 4 ระดับความยาก ครอบคลุมทุกมิติตั้งแต่พื้นฐานไปจนถึงล้ำสมัย:
* ระดับพื้นฐาน: โอเปอเรเตอร์เคอร์เนลเดี่ยว รูปแบบ Fusion แบบง่าย
* ระดับก้าวหน้า: การนำสถาปัตยกรรมโมเดลแบบสมบูรณ์ไปปฏิบัติ
* ระดับล้ำสมัย: ประกอบด้วยองค์ประกอบสถาปัตยกรรมขั้นสูง เช่น DeepSeek MLA, Grouped Query Attention (GQA), MoE Gating, Quantized GEMM เป็นต้น

การให้คะแนนของทั้งสองชุดหมุนรอบ ความถูกต้อง (อัตราการผ่าน) และ ประสิทธิภาพ (อัตราเร่งเฉลี่ยเรขาคณิตเทียบกับการนำไปปฏิบัติอ้างอิง) ผลการประเมินรอบแรกแสดงให้เห็นว่า ไม่มีโมเดลตัวใดเลยที่สามารถชนะทั้งหมดในชุดใดชุดหนึ่งได้ การแข่งขันในตารางอันดับดุเดือดกว่าที่คาดไว้มาก

สาม: วิธีวิทยาแบบฮาร์ดคอร์ – ตั้งแต่การตรวจสอบยืนยันไปจนถึงการให้คะแนน ทุกขั้นตอนมีมาตรฐานเชิงปริมาณ

ความน่าเชื่อถือของผลการประเมิน KernelArena มาจากการที่ได้กำหนด วิธีวิทยาการประเมินที่เป็นเอกภาพ เข้มงวด และสามารถทำซ้ำได้ วิธีวิทยานี้ได้รับการปรับให้เหมาะสมอย่างละเอียดสำหรับฮาร์ดแวร์และชุดทดสอบที่แตกต่างกัน และได้รวม ความสามารถของโมเดลเอง และ เฟรมเวิร์กที่รันอยู่ เข้าเป็นมิติในการประเมินด้วย รายละเอียดวิธีวิทยาทั้งหมดได้เปิดเผยต่อสาธารณะแล้ว และในอนาคตจะสนับสนุนให้ชุมชนสามารถเปลี่ยนหรือมีส่วนร่วมในเฟรมเวิร์กการประเมิน เพื่อสร้างระบบนิเวศแบบโอเพ่นซอร์ส

ต่อไปนี้คือกฎการประเมินของชุดทดสอบหลักสองชุด ตัวชี้วัดเชิงปริมาณปฏิบัติตามมาตรฐานการทดสอบจริงอย่างเคร่งครัด:

3.1 กฎการให้คะแนนทั่วไป

ทั้งสองชุดใช้สูตรการให้คะแนนหลักที่เป็นเอกภาพ:

คะแนนสุดท้าย = อัตราเร่งเฉลี่ย × อัตราเร่งมัธยฐาน × Pass@1

โดยที่:
* อัตราเร่งเฉลี่ย และ อัตราเร่งมัธยฐาน คำนวณจาก เคอร์เนลที่ผ่านการตรวจสอบยืนยันความถูกต้อง เท่านั้น
* ตัวชี้วัด Pass@1 ใช้สำหรับวัดสัดส่วนของโมเดลที่ สร้างเคอร์เนลที่ถูกต้องในครั้งแรกที่ลอง
* เคอร์เนลที่ไม่ผ่านการตรวจสอบยืนยันความถูกต้อง คะแนนประสิทธิภาพจะถูกบันทึกเป็น 0

3.2 รายละเอียดการประเมินเฉพาะ KernelBench HIP MI300X

1. เฟรมเวิร์กการประเมิน: ใช้ลูปเอเจนต์พื้นฐาน เปิดสิทธิ์เฉพาะเครื่องมือ bash และการเขียนไฟล์ ไม่มีการรวม IDE หรือนั่งร้านเอเจนต์ขั้นสูง การกระทำนี้มีจุดมุ่งหมายเพื่อแยกข้อได้เปรียบของเครื่องมือออกมา และประเมินความสามารถในการเขียนเคอร์เนลของโมเดลเองโดยเฉพาะ โมเดลสามารถเรียกใช้ไลบรารีที่มีอยู่ (เช่น Composable Kernels, Triton, hipBLASLt) เพื่อทำให้โซลูชันสมบูรณ์
2. การตรวจสอบยืนยันความถูกต้อง: ใช้การนำไปปฏิบัติดั้งเดิมของ PyTorch เป็นเกณฑ์อ้างอิง ตรวจสอบยืนยันความถูกต้องของผลลัพธ์ผ่าน torch.allclose(rtol=1e-3, atol=1e-3) เฉพาะโซลูชันที่ถูกต้องเท่านั้นที่จะเข้าร่วมการให้คะแนนประสิทธิภาพ พร้อมทั้งอ้างอิงจากการวิจัยที่เกี่ยวข้อง ดำเนินการป้องกันเฉพาะสำหรับพฤติกรรม “การแฮ็กเพื่อรับรางวัล” เช่น Stream Injection, Thread Injection, Lazy Evaluation, Patch Timing เป็นต้น
3. กระบวนการทดสอบมาตรฐาน: รันบน AMD MI300X (ROCm 7.0) ใช้การจับเวลาแบบ HIP Event ปฏิบัติตามกระบวนการวอร์มเครื่องก่อน แล้วจึงทำการจับเวลาซ้ำหลายครั้ง ปัญหาทดสอบ 41 ปัญหาครอบคลุม 4 ระดับความยาก ดำเนินการประเมินความสามารถของโมเดลแบบรอบด้านตั้งแต่พื้นฐานไปจนถึงล้ำสมัย
4. เปิดเผยอาร์ติแฟกต์: โซลูชันที่โมเดลส่งมาทั้งหมดและการนำไปปฏิบัติอ้างอิง ได้เผยแพร่ในไดเรกทอรี kernelbench-hip-mi300x บน GitHub เพื่อความสะดวกในการทำซ้ำและการพัฒนาต่อยอดโดยชุมชน

สี่: อันดับแรกประกาศออกมาแล้ว! Claude, Gemini, GPT มีทั้งชนะและแพ้

KernelArena ได้ประกาศตารางอันดับรายละเอียดรอบแรกของชุด WaferBench NVFP4 B200 อันดับเรียงตาม อัตราเร่งเฉลี่ย ผลลัพธ์แสดงให้เห็นว่าโมเดลทั้งสี่ตัวที่เข้าร่วมการประเมินมีทั้งจุดแข็งและจุดอ่อน ไม่มีผู้ชนะสมบูรณ์ด้านประสิทธิภาพปรากฏขึ้น ในกระบวนการประเมินยังพบและแก้ไขปัญหาที่อาจเกิดขึ้นหลายประการ เพื่อรับประกันความถูกต้อง

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง