在人工智能与机器人技术深度融合的当下，具身智能体正逐步从实验室走向真实世界。然而，传统交互系统往往面临一个根本性挑战：每次对话都像初次见面，缺乏持续的记忆与个性化理解。这一瓶颈严重制约了智能体在家庭、医疗、教育等长期陪伴场景中的应用潜力。近期，由智源研究院、Spin Matrix、乐聚机器人与新加坡南洋理工大学等机构联合提出的RoboBrain-Memory系统，通过创新的终身记忆架构，为具身智能赋予了“类人记忆”能力，开启了人机交互的新篇章。
RoboBrain-Memory是全球首个专为全双工、全模态模型设计的终身记忆系统，其核心目标在于解决智能体在复杂动态环境中的持续交互问题。系统不仅支持实时音视频流中的多用户身份识别与关系理解，还能动态维护个体档案与社会关系图谱，从而实现真正意义上的长期个性化交互。这一突破性进展，标志着具身智能从“单次任务执行”向“持续关系构建”的重要转变。
系统的技术架构围绕“异步进程”与“两级记忆”两大支柱展开，模拟了人类记忆的形成、存储与调用机制。三大异步进程——检索进程、全模态交互进程和记忆管理进程——构成了系统的动态运行基础。检索进程通过人脸识别（Retinaface+Facenet512）与声纹识别（微调WavLM）实现多模态身份认证，准确率分别达到98.4%和EER<1%，同时结合BM25与BGE-small向量模型进行文本检索，确保在0.2秒内完成用户档案与关系信息的精准匹配。全模态交互进程则依托RoboEgo主模型，其全双工架构实现了毫秒级响应延迟，使对话流畅度媲美真人交流，且在噪声环境下仍保持87.6%的事实正确性与8.82/10的回复质量。记忆管理进程通过RQ-Transformer触发器对音视频流进行序列标注，以超过98%的准确率识别对话边界，并自动提取关键信息更新记忆单元，完成记忆的持续进化与自我修正。
两级记忆系统进一步将记忆信息结构化。Level-1个人档案记忆如同用户的专属资料库，
精准记录姓名、偏好、对话历史等个体信息。其运行机制包含四个关键环节：身份识别通过定期人脸与声纹匹配确认对话者；人格注入在用户切换时将新档案置入固定内存区；个性化回复结合实时视听流与档案生成定制响应；档案更新则通过异步总结对话内容持续优化记录。这一层级确保了AI能够识别并理解每一个独立的个体，为个性化交互奠定基础。
Level-2关系驱动记忆在个体理解之上，构建了用户间的社交记忆网络。
它以三元组形式存储用户关系图，使AI不仅能洞察个体，更能理解群体动态。其机制在继承Level-1功能的同时，新增了主动检索能力——模型可根据上下文生成查询，检索关系图与相关档案，并将结果置入另一个固定内存区，最终综合生成更符合社交情境的回复。记忆管理系统在更新个人档案时同步优化关系图谱，实现了从“个体记忆”到“社会记忆”的跃升。
系统的核心创新体现在三个关键子模块的协同设计上。全模态检索系统通过融合视觉、听觉与文本检索，实现了多用户场景下的高效信息获取；视听流终身记忆管理利用RQ-Transformer与大模型能力，完成了对话边界的精准定位与记忆的动态更新；基于监督mask的统一训练框架则通过合成多用户三轨token流进行数据增强，赋予模型个性化对话生成、主动查询与边界识别的综合能力。
这些模块共同支撑了异步进程与两级记忆系统的稳定运行，使RoboBrain-Memory在复杂环境中仍能保持超过20fps的吞吐速率，远超实时语音对话需求。
能力验证方面，系统在多项权威评测中表现卓越。除了前述的检索性能与对话质量，其在自建多用户数据集上的对话边界识别率在0.4秒容错下超过98%，展现出强大的抗噪声能力。这些成果不仅证明了系统在标准测试下的优异性能，更凸显了其在真实多用户、高噪声环境中的可靠性与实用性。
从应用前景看，RoboBrain-Memory为人机协作构筑了新的基石。在家庭环境中，系统可识别并利用家庭成员间的社会关系，支持执行“将药物递给奶奶”等高阶语义指令；在专业协作场景如实验室、工厂或医院，它能通过持续记忆提升团队协作效率，例如记录实验流程或提醒医疗注意事项。这一系统不仅推动了具身智能的技术边界，更为未来智能体融入人类社会生活提供了关键支撑，标志着人机交互从“工具性使用”向“伙伴式共存”的深刻转型。
— 图片补充 —
关注“鲸栖”小程序，掌握最新AI资讯
本文由鲸栖原创发布，未经许可，请勿转载。转载请注明出处：http://www.itsolotime.com/archives/8111