在机器人技术快速发展的今天，多模态感知融合已成为提升机器人环境交互能力的关键路径。然而，传统方法在处理稀疏模态任务时暴露出的严重缺陷，正推动着研究范式的根本性转变。由伊利诺伊大学香槟分校、哈佛大学、哥伦比亚大学和麻省理工学院联合完成的这项研究，通过《Multi-Modal Manipulation via Policy Consensus》论文（链接：https://arxiv.org/pdf/2509.23468）提出了颠覆性的解决方案，其技术主页（https://policyconsensus.github.io/）展示了完整的理论框架和实验验证。
传统特征拼接方法的根本缺陷需要深入剖析。当机器人在复杂环境中执行任务时，不同传感器模态的重要性并非恒定不变。以从黑色背包中寻找钥匙的经典场景为例，视觉模态在大部分过程中提供环境信息，但在物体被遮挡时完全失效，此时触觉模态成为唯一可靠的信息源。特征拼接方法将所有传感器嵌入向量简单拼接后输入单一神经网络，这种架构存在两个致命弱点：
首先，统计稀疏性导致关键信号被误判为噪声。在训练过程中，神经网络会基于数据分布自动调整各模态的权重。当某个模态（如触觉）只在特定阶段（如接触物体时）提供有效信息时，其在整体训练数据中的出现频率较低，网络会将其视为噪声信号而降低权重。研究数据显示，在遮挡抓取任务中，仅使用RGB视觉的成功率为35%，而加入触觉数据后，特征拼接方法的成功率反而暴跌至5%。这种“越融合越糟糕”的现象揭示了传统方法在处理模态稀疏性时的系统性失败。
其次，架构僵化阻碍了系统的可扩展性。特征拼接将所有模态在特征层面紧密耦合，任何传感器的添加、移除或故障都会导致整个系统需要重新训练。这不仅带来高昂的计算成本，更在实际部署中造成严重问题——单个传感器故障可能导致整个系统崩溃。在动态变化的真实环境中，这种缺乏模块化的设计严重限制了机器人的适应能力。
研究团队提出的组合策略框架代表了根本性的范式转变。该方案的核心创新在于从特征级融合转向策略级组合，具体包含三个关键层次：
第一层是模态特定专家策略。为每个传感器模态（RGB视觉、触觉、点云等）训练独立的基于能量的扩散策略网络。每个专家专注于处理自己模态的感官流，互不干扰。即使是稀疏模态也能获得专用网络资源，确保其在关键时刻的表现能力。
第二层是模态内分解机制。在每个模态内部进一步细分为互补的子策略。例如视觉模态可分解为粗略几何推理和细粒度细节分析；触觉模态可分解为初始接触检测和持续力控制。这种分层结构增强了每个专家对复杂任务的适应能力。
第三层是动态共识权重学习。通过路由器网络实时预测各模态专家对最终动作决策的影响权重。这种权重不是固定的，而是根据任务阶段、环境条件和传感器可靠性动态调整。当某个传感器失效时，路由器会自动将权重转移到其他功能正常的传感器上。
这种架构设计解决了传统方法的根本问题。稀疏模态专家不再需要与主导模态竞争表征空间，触觉专家可以在接触丰富的操作中发挥最大效能。模块化设计使得系统扩展变得简单——添加新传感器只需训练对应的专家网络，然后通过权重调整将其集成到现有系统中，无需重新训练整个网络。在实现层面，多个策略的组合对应于概率分布的相乘，在基于分数的能量模型中，这简化为分数函数的相加，计算效率显著提升。
增量学习能力通过即插即用实验得到验证。研究团队独立训练了RGB和触觉策略，然后使用固定相等权重将它们组合，未进行任何联合训练。令人惊讶的是，这种简单组合的策略成功完成了单独策略都无法处理的遮挡记号笔抓取任务。这为现实世界部署提供了重要启示：传感器可以逐步添加或更换，系统能够持续进化而不需要从头开始。
系统的鲁棒性和自适应性在多场景测试中表现突出。在执行过程中突然抢走物体时，机器人能够快速适应并继续完成任务。当模拟摄像头故障时，路由器简单地将权重转移到剩余功能传感器上，系统表现保持稳定。即使任务相关物体被重新定位，策略也能成功泛化到新场景。
实验数据充分证明了新方法的优越性。在配备双RealSense摄像头和FlexiTac触觉传感器的UR5e机器人平台上，研究团队进行了系统验证。RLBench模拟环境中，四个操作任务的平均成功率达到66%，显著优于单模态策略的49%和特征拼接的56%。真实世界测试结果更加令人印象深刻：遮挡记号笔抓取任务成功率65%（RGB-only为35%，拼接方法仅5%）；勺子重定向任务成功率75%（拼接方法仅21%）；拼图插入任务成功率52%（拼接方法40%）。这些数据不仅证明了新方法的有效性，更揭示了传统特征拼接在处理复杂多模态任务时的系统性不足。
这项研究的核心洞见具有深刻的启示意义：多模态融合不应在特征层面强制统一，而应在策略层面保持多样性。让每个模态拥有自己的专家网络，通过学习动态共识权重来决定各自的影响力，这种“分而治之”的策略比“大一统”的架构更加符合机器人感知的实际情况。从工程实践角度看，这种模块化设计降低了系统维护成本，提高了部署灵活性；从理论发展角度看，它开辟了多模态机器人学习的新方向，为处理更复杂的感知决策问题提供了框架基础。
随着机器人应用场景的不断扩展，对多模态感知融合的要求将越来越高。这项研究不仅解决了当前的技术瓶颈，更为未来的系统设计提供了方法论指导。从特征拼接的失败到策略共识的成功，这不仅是技术方案的改进，更是思维范式的转变——在追求统一表征的同时，必须尊重不同模态的特性差异，在多样性与一致性之间找到最佳平衡点。
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/archives/5633
