近日，北京大学与BeingBeyond的研究团队联合提出了DemoHLM框架，为人形机器人移动操作领域带来了突破性进展。该框架仅需在仿真环境中采集一次人类演示，即可自动生成海量训练数据，实现真实人形机器人在多任务场景下的泛化操作，有效解决了传统方法依赖硬编码、真实数据成本高昂、跨场景泛化能力差的核心痛点。
移动操作作为人形机器人融入人类环境的核心能力，长期面临三大挑战：数据效率低下、任务泛化能力差以及仿真到现实的迁移困难。传统方法通常需要采集大量真实机器人遥操作数据，成本极高且难以规模化；同时依赖任务特定的硬编码设计，更换任务时需要重新开发；基于仿真训练的策略常因物理引擎差异和传感器噪声等问题，无法在真实机器人上稳定运行。现有解决方案要么局限于仿真场景，要么需要消耗数百小时的真实遥操作数据，难以满足家庭、工业等复杂场景的实用需求。
DemoHLM框架通过“分层控制+单演示数据生成”的双引擎设计，实现了创新突破。分层控制架构采用“低层全身控制器+高层操作策略”的设计，有效解耦了运动控制与任务决策。低层全身控制器基于强化学习训练，负责将高层指令转化为关节力矩，同时保证机器人的全方位移动性与平衡能力，运行频率达50Hz，能够稳定处理高接触场景；高层操作策略则通过模仿学习，利用视觉闭环反馈向低层发送任务导向的指令，实现复杂操作决策，支持ACT、Diffusion Policy等多种行为克隆算法，运行频率10Hz，侧重于长时域规划。此外，团队为机器人设计了2DoF主动颈部与RGBD相机，通过比例控制器实现视觉追踪稳定，模仿人类操作时的视线调节能力，有效避免物体遮挡导致的感知失效。
DemoHLM最关键的突破在于其数据生成机制：无需真实数据，仅用一次仿真遥操作演示即可生成海量多样化训练数据。该流程分为三个步骤：首先通过Apple Vision Pro捕捉人类动作，映射到仿真中的Unitree G1机器人，记录一条成功操作轨迹；随后将演示轨迹拆解为移动、预操作和操作三个阶段，并通过坐标系转换实现泛化——预操作阶段采用物体中心坐标系，确保机器人在不同物体初始位姿下末端执行器能精准对齐目标，操作阶段则切换为本体感知坐标系，解决抓取/搬运时末端与物体相对静止的轨迹生成难题；最后在仿真中随机初始化机器人与物体位姿，自动调整各阶段指令并重放，生成数百至数千条成功轨迹，形成训练数据集。这一完全自动化的过程不仅规避了传统模仿学习的数据采集困境，还通过随机化初始条件天然提升了策略的泛化能力。
在实验验证方面，团队在仿真环境与真实Unitree G1机器人上针对10项移动操作任务进行了全面测试。仿真结果显示，数据量与性能呈正相关：随着合成数据量从100条增至5000条，所有任务成功率均大幅提升，例如“PushCube”成功率从52.4%升至89.3%，“OpenCabinet”从18.9%升至67.3%，且边际收益逐渐收敛，证明了数据生成流程的高效性。同时，框架在ACT、MLP、Diffusion Policy三种行为克隆算法上均表现优异，其中ACT与Diffusion Policy性能接近，而简单MLP因缺乏时序建模能力性能稍弱，验证了框架对不同学习算法的兼容性。
在真实世界测试中，DemoHLM实现了零样本迁移。在改装后的Unitree G1机器人上，10项任务中：搬箱子和按立方体任务均实现5/5成功，操作流程与仿真高度一致；推方块和递物任务达到4/5成功，仅因地面摩擦差异导致个别失败；抓方块、开门等需要精准力控制的任务，成功率超过60%，在同类仿真训练方法中位于前列。关键原因在于高层策略通过视觉闭环实时调整指令，有效抵消了仿真与真实的物理差异，确保了操作行为的一致性。
DemoHLM的突破为人形机器人实用化提供了关键技术支撑：首先，单演示加仿真数据生成的模式，将训练成本从数百小时真实遥操作降至小时级仿真演示，大幅降低了行业应用门槛；其次，无需任务特定设计，一套框架即可适配多场景，加速了机器人从实验室到真实环境的落地进程；最后，分层架构可兼容触觉传感器、多相机感知等升级，为未来更复杂场景的操作奠定了基础。团队也指出了当前局限：依赖仿真数据可能存在长期的仿真到现实偏差，单RGB-D相机在复杂遮挡场景性能受限，且暂不支持未建模物体的操作。未来将探索仿真与真实数据混合训练、多模态感知融合等方向，进一步提升系统的鲁棒性。
总体而言，DemoHLM以单仿真演示驱动泛化移动操作为核心，通过分层控制架构与高效数据生成流程，成功破解了人形机器人训练成本高、泛化差、迁移难的三大难题。其在Unitree G1上的真实落地验证，证明了该框架的实用价值，为下一代人形机器人在家庭、工业、服务场景的规模化应用提供了重要技术路径。
— 图片补充 —
关注“鲸栖”小程序，掌握最新AI资讯
本文由鲸栖原创发布，未经许可，请勿转载。转载请注明出处：http://www.itsolotime.com/archives/7458