模型精度评估

衡宇 发自 凹非寺 比面对大模型黑盒更让人抓瞎的事情，就是要去选既靠谱、性价比又高的API服务。 这几乎是每一个涉足AI应用开发的团队都会经历的至暗时刻。 同一个模型架构在不同的供应商手里，不仅价格上有出入，延迟、稳定性、吞吐量等用户关心的指标，波动幅度巨大。 在API调用动辄几十万、上百万token的时代，API选型居然变成了一件靠经验反复试错的事儿。 这…