工程应用
-
大模型编程应用测试-V3榜单：以工程应用标准量化模型能力
#0 前言 笔者最早的编程测试V1采用传统的3 Pass测试法，25年下半年迭代了更贴近多轮场景的V2测试法。但仅测试3轮的V2方法局限性仍然很大。首先，该方法只观察模型在3轮自主修复中能取得的最终成绩，而实际Agent场景中，编程模型拥有几乎无限的轮次，只要能解决问题即可。其次，V2方法只提供运行结果反馈，不提供工具，而实际Agent可以借助Lint/Co…
#0 前言 笔者最早的编程测试V1采用传统的3 Pass测试法，25年下半年迭代了更贴近多轮场景的V2测试法。但仅测试3轮的V2方法局限性仍然很大。首先，该方法只观察模型在3轮自主修复中能取得的最终成绩，而实际Agent场景中，编程模型拥有几乎无限的轮次，只要能解决问题即可。其次，V2方法只提供运行结果反馈，不提供工具，而实际Agent可以借助Lint/Co…
