在人工智能从“语言理解”迈向“任务执行”的关键转型期，大语言模型（LLM）与外部工具的协同能力已成为核心突破点。无论是API调用、多轮任务规划、知识检索还是代码执行，模型精准调用工具的能力不仅依赖其内在的推理逻辑，更需要海量高质量、针对性强的函数调用数据进行训练。然而，当前主流的数据生成与训练流程普遍存在“静态化”缺陷——数据在训练前一次性生成，无法感知模型在微调或强化学习过程中的能力变化，导致模型对已掌握的简单任务重复学习、算力浪费，同时难点样本长期缺乏优化。更严峻的是，许多流程依赖昂贵的闭源API生成与评估数据，而开源替代方案往往引入大量噪声标签，严重削弱训练效果。
针对这一瓶颈，上海交通大学与小红书团队近期提出的LoopTool框架，首次实现了工具调用任务的数据-模型闭环优化，为动态数据进化提供了创新解决方案。该框架的核心突破在于其自动化、模型感知、迭代式的设计理念，仅依靠开源模型Qwen3-32B作为数据生成器与判别器，在无需闭源API的情况下，使一个8B规模的LoopTool模型在工具调用表现上显著超越其32B数据生成器，并在BFCL-v3与ACEBench公开榜单上取得同规模模型的最佳成绩。更令人瞩目的是，训练后的LoopTool-32B模型在这两个榜单上登顶，达到了当前开源模型的最高水平，验证了闭环迭代优化在不同模型规模上的通用性与有效性。
从技术背景看，工具增强型LLM已在API调用、知识库查询、搜索引擎交互、代码与多模态任务执行、复杂知识问答等领域证明其价值，但要让模型稳健地使用工具，必须持续提供与其当前能力匹配的高质量多样化训练数据。现有方法如ToolLLM、APIGen系列采用“先生成全量数据，再训练模型”的静态流程，缺乏对模型学习状态与短板的实时反馈，且多依赖监督式微调，限制了模型向更多工具类别的泛化能力。若使用闭源生成/评估模型（如GPT系列），则面临API成本高、难以大规模迭代的困境；改用开源模型又易引入参数不全、函数调用不符要求等标签错误，导致训练信号噪声累积甚至误导。
LoopTool的创新之处在于构建了一个由模型性能反馈驱动的自动化闭环系统，涵盖种子数据构建与迭代优化闭环两大阶段。在种子数据构建中，研究团队通过收集开源API文献，并设计语义树（描述领域主题与功能层级）和约束树（定义API结构限制如命名规则、参数类型），独立抽取路径合并生成符合功能意图与结构规范的API定义。随后，这些API被嵌入多智能体工具调用对话生成流程：Planner Agent基于工具子集规划任务流程与对话轮次；User Agent发起请求并补充参数；Assistant Agent选择并执行工具调用；Tool Agent模拟或真实返回响应。所有对话经过规则验证（API语法、参数类型、schema匹配）与LLM验证（Qwen3-32B判断逻辑一致性），确保种子数据的质量与多样性。
迭代优化闭环则包含四个核心模块。首先，GRPO强化学习训练将多轮对话样本切分为工具调用监督样本，模型输出包含推理轨迹与工具调用的JSON结构，奖励函数采用二值奖励（工具名和参数与标签完全匹配），优化目标鼓励模型探索。其次，贪婪能力探测（GCP）通过贪婪解码全数据集，识别已掌握、失败及边界样本（高困惑度PPL），保留高学习价值的边界样本至下轮训练。
第三，判别引导标签校验（JGLV）使用Qwen3-32B作为评判者，比较模型预测与原标签，分类为预测错误、标签错误（用预测替换标签）、两者均正确（择高PPL保留）或两者均错误（丢弃）。这种比较判别模式减少了生成噪声风险，并随着模型迭代提升，以更优预测反向优化训练集。最后，高PPL样本被保留用于持续优化。
LoopTool的实践意义深远：它打破了静态数据生成的局限性，通过闭环迭代使数据与模型协同进化，显著提升了工具调用的准确性与泛化能力。在资源受限的场景下，该框架仅依赖开源组件即可实现高效优化，为AI社区提供了可复用的方法论。未来，随着工具调用场景的复杂化，这种动态数据进化机制有望扩展到多模态、跨领域任务中，进一步推动AI从“会说”到“会做”的实质性跨越。论文与代码已公开，为后续研究奠定了坚实基础。
— 图片补充 —
关注“鲸栖”小程序，掌握最新AI资讯
本文由鲸栖原创发布，未经许可，请勿转载。转载请注明出处：http://www.itsolotime.com/archives/6735