自动化评测

当我们谈论大模型应用开发时，评测环节往往是那个“既重要又棘手”的存在。它决定了产品能否真正解决用户问题，却又充满了难以量化的灰色地带。这篇文章，聊聊在实践中对评测的一些观察与思考。 为什么公开Benchmark的参考价值有限 各家模型发布时，漂亮的Benchmark数据总是标配。如果仅看这些数字，似乎AGI已经近在咫尺。然而现实往往给人当头一棒——Ilya在…

蚂蚁健康与北京大学人民医院王俊院士团队联合发布全球首个大模型专病循证评测框架 蚂蚁健康与北京大学人民医院王俊院士团队历时6个多月，联合十余位胸外科医生共同打磨，发布了全球首个大模型专病循证能力的评测框架——GAPS （Grounding, Adequacy, Perturbation, Safety） ，及其配套评测集 GAPS-NSCLC-preview。…