跨学科突破：神经科学与AI融合，打造类人记忆Agent系统

跨学科突破：神经科学如何让 Agent 拥有「人类式」记忆？

你是否设想过，AI Agent 能像人类一样，通过积累经验实现自我成长？如今，这一愿景正加速走向现实。然而，当前的研究要么局限于AI技术本身，要么对人脑记忆机制的借鉴流于表面，两个学科之间始终缺乏深刻的交叉与碰撞。

近期，来自哈尔滨工业大学、鹏城实验室、新加坡国立大学、复旦大学和北京大学的研究团队联合发布了一篇重磅综述《AI Meets Brain: A Unified Survey on Memory System from Cognitive Neuroscience to Autonomous Agents》。该综述首次系统性地打破了认知神经科学与人工智能之间的学科壁垒，将人脑记忆机制与AI Agent的记忆系统置于统一框架下审视，为设计真正具备「类人」记忆能力的Agent奠定了坚实的理论基础。

该综述横跨两大领域，共梳理了超过400篇相关文献。

• 论文链接：http://arxiv.org/abs/2512.23343
• Github 链接：https://github.com/AgentMemory/Huaman-Agent-Memory

什么是记忆？

综述对“记忆”进行了重新定义：记忆不仅是数据的存储，更是认知的纽带。它从三个视角对记忆进行了剖析：

1. 认知神经科学视角：连接过去与未来的桥梁

在人脑中，记忆的本质是大脑存储和管理信息的过程，是连接过去经验与未来决策的认知桥梁。这一过程可分为两个阶段：第一阶段，当大脑获取新信息时，会快速形成特定的神经表征并进行整合存储；第二阶段，大脑会对存储的表征进行操作，或随时间推移进行巩固，或在未来遇到类似情境时进行检索。

2. 大语言模型视角：三种形态的并存

对于大语言模型而言，记忆并非单一结构，而是表现为三种并存的形式：
* 参数记忆：内化于神经网络权重中的知识，类似于人类的抽象长期记忆。
* 工作记忆：基于上下文窗口，负责实时的信息处理与推理。
* 显式外部记忆：以RAG为代表，通过解耦计算与存储，使LLM从“知识库”转变为“知识调度器”。

3. Agent视角：从存储到认知的跃迁

Agent的记忆超越了LLM的简单存储，构成了一个动态的认知架构。综述沿三个核心维度对其进行解构：
* 结构化存储：将非结构化的自然语言交互，转换为易于机器索引和理解的有效格式。
* 动态调度：解决有限注意力资源与海量记忆存储之间的矛盾，模拟人脑的遗忘与唤醒机制。
* 认知进化：Agent通过深入反思、抽象和重组记忆内容，推动其行为策略的持续更新。

Agent Memory 与 RAG 的区别：传统RAG侧重于将LLM连接到静态知识库进行查询；而Agent Memory则嵌入于Agent与环境的动态交互过程中，持续地将操作与反馈信息整合到记忆容器中。

记忆有何用？

在认知神经科学中，记忆是大脑编码、存储和检索信息的神经过程，使个体能够利用过去经验指导当前行为并规划未来。

对于LLM驱动的Agent而言，模型原生的无状态性与复杂长期任务所需的连续性之间存在天然鸿沟。因此，记忆不仅是连接历史交互的被动存储库，更是Agent认知架构中的关键主动组件。为Agent配备记忆系统，旨在实现三大核心作用：

图 1. 记忆通过减轻上下文窗口限制、实现长期个性化以及驱动基于经验的推理来扩展 Agent 的能力。

1. 突破上下文窗口的限制
   • 启发式上下文设计：通过预设规则来管理记忆的存储与调用。
   • 自主记忆优化：让Agent将记忆管理本身作为一项可学习的内在能力。
2. 构建长期个性化画像
   • 画像构建：Agent能从碎片化的历史交互中，提炼用户的核心特质与潜在动机，建立动态的个性化档案。
   • 偏好对齐执行：在执行任务时，Agent能自动调用记忆中的用户偏好来约束决策，无需反复指令。
3. 驱动基于经验的推理
   • 战略指导：检索历史上相似的成功案例或提炼的高层经验，指导当前决策，避免重复错误。
   • 程序固化：将成功的推理过程转化为可复用的技能或结构化程序。

记忆的分类学

在探讨Agent记忆分类之前，综述首先梳理了认知神经科学对记忆的经典定义。人脑的记忆是一个分工明确的复杂系统。

1. 基于认知神经科学的分类

记忆被定义为大脑存储和管理信息的认知过程，允许在原始刺激消失后仍能访问和使用信息，通常分为短期记忆和长期记忆。
* 短期记忆：大脑的“临时工作台”，在极短时间（约15-20秒）内维持和处理信息，容量有限（约4-9个单位）。
* 长期记忆：大脑的“永久档案馆”，可存储从几分钟到几十年的信息，容量近乎无限，且高度组织化。它可进一步分为：
* 情景记忆：对个人亲身经历的特定事件的记忆，包含事件细节及其时空背景。
* 语义记忆：对事实、概念、规则等知识的记忆，与获取时的具体情境无关。

2. Agent的双维度记忆分类

为适应复杂的自主任务，综述提出了一套双维度的Agent记忆分类法。

图 2. (a) 基于性质的分类法，根据编码的信息类型对记忆进行分类。 (b) 基于范围的分类，根据记忆的应用范围来区分。

(1) 基于「性质」的分类
此分类直接对齐人脑的“情景与语义”划分，决定了Agent在推理时使用的是“经验”还是“知识”。
* 情景记忆：作为“任务式数据库”，存储完整的交互轨迹，核心作用是提供过程性知识（即“How to”）。
* 语义记忆：作为“知识库”，存储事实、概念、规则和常识，核心作用是提供陈述性知识（即“What-is”）。

(2) 基于「范围」的分类
此分类基于记忆在任务流中的生命周期和适用范围进行划分。
* 轨迹内记忆：作为“临时工作区”，存储当前任务的中间步骤、临时变量和即时观察结果。其作用域仅限于当前任务或会话，通常随情景结束而被清除或重置。

• 跨轨迹记忆（Cross-trail Memory）：
  • 定义：永久存储库。
  • 存储内容：可概括的模式、学习的策略、可重用的知识。
  • 作用域：跨越多个任务、多个对话，甚至跨越 Agent 的整个生命周期。
  • 核心作用：提供陈述性知识，即「What-is」。

记忆的存储机制

记忆存储的关键在于记忆的存储位置和存储形式。

1. 认知神经科学中的记忆存储

在人脑中，记忆存储是一个跨脑区的动态协作过程。

• 短期记忆
  • 存储位置：分布在感觉皮层和额顶网络（Sensory-frontoparietal network）。
  • 机制：感觉皮层保留细节，额顶网络支持跨模式表示，允许不同通道信息在共享表示空间中链接和操作。
  • 存储形式：
    1. 持续活动（Persistent activity）：保持高水平的放电活动。
    2. 活动-沉默突触连接（Synaptic connection weights）：仍可能有用的项目可以默默存储并在需要时重新激活。
• 长期记忆
  • 存储位置：海马体（Hippocampus） + 新皮层（Neocortex）。
  • 机制：海马体不是仓库，而是索引。新信息先在海马体暂存，通过系统巩固，慢慢转移到新皮层这个永久仓库中。
  • 存储形式：
    1. 事件单元（Event-based unit）：把连续的生活切片成一个个独立的事件包。
    2. 认知地图（Cognitive map）：人脑把概念和知识也组织成地图，通过认知距离表示关系的远近。

图 3. 认知神经科学中的记忆存储机制概述，包括短期和长期记忆的存储位置和存储格式。

2. Agent 中的记忆存储

不同于人脑浑然天成的神经网络，Agent 的记忆系统是显式的工程构建。不仅要解决“存在哪”的物理限制，还要在“怎么存”上进行复杂的数据结构选型，以在计算成本和推理能力之间寻找最优解。

• 存储位置
  • 上下文窗口（Context Window）：对应轨迹内记忆。主要存放当前的对话流。
  • 记忆库（Memory Bank）：对应跨轨迹记忆。外挂的存储库，容量近似无限。
• 存储形式
  • 文本（Text）：自然语言形式，比较直观。
  • 图结构（Graph）：实体和关系组成的结构化网络，支持关系提取和模式发现，能够识别节点之间的隐式链接，从而辅助复杂的逻辑信息查询。
  • 参数（Parameters）：模型权重，通过训练内化记忆。
  • 隐式表示（Latent Representation）：高维向量，检索速度快。

记忆的管理系统

记忆不是一个静态的仓库，而是一条奔流不息的河流。在人类大脑中，记忆通过海马体的重播和新皮层的巩固，不断被重写和重构。而在 Agent 中，记忆管理则是提取（Extraction）、更新（Updating）、检索（Retrieval）、应用（Application）的精密闭环。

1. 认知神经科学：大脑的动态循环

人脑的记忆管理不是简单的「写入」和「读取」，而是一个充满可塑性的动态过程。

图 4. 认知神经科学中的记忆管理概述。该框架阐释了信息处理的动态循环，包括记忆形成、更新和检索，通过这个循环，长期记忆支持对外部环境的灵活适应。

• 记忆形成（Memory Formation）
  记忆并非一蹴而就，它经历了三个阶段：
  • 编码（Encoding）：海马体将新皮层内分布的感觉特征结合成统一的表征，并选择性地调节其与感觉皮层的相互作用，以放大未来高效用的表征。
  • 巩固（Consolidation）：在清醒休息或睡眠等离线状态下，海马体通过重播，不断与新皮层同步活动，重新组织和调整新信息，使其稳定下来。
  • 整合（Integration）：通过海马体与内侧前额叶皮层的协作，将巩固的记忆痕迹转化为有组织的关联知识，并最终将其重新分配至新皮层以实现持久的抽象存储。
• 记忆更新（Memory Updating）
  • 机制：预测误差（Prediction Error）是核心驱动力。当发现现实与记忆不符，大脑就会触发更新机制。
  • 策略：分化是为相似的新旧事件建立互斥的神经表征，防止混淆。整合是将新旧知识与预测误差整合为一体。
• 记忆检索（Memory Retrieval）
  • 重构性：回忆不是回放录像，而是根据线索（Cue）利用海马体进行模式完成（Pattern Completion），重新构建当时的场景。
  • 再巩固（Reconsolidation）：每当回忆一次，这段记忆就会变得不稳定，容易被修改或增强。这也解释了为什么“常回忆”能加深记忆，但也可能会植入虚假细节。

2. Agent 记忆管理：记忆管理的精密闭环

与在受限窗口内执行瞬态处理的标准大语言模型不同，Agent 通过显式管理机制实现体验的持久调节。

图 5. Agent 中记忆管理的概述。该框架形成了一个由记忆提取、更新、检索和应用组成的闭环管道，从而实现持久的经验调节和长期推理。

• 记忆提取（Memory Extraction）
  Agent 不能把所有 Log 都存下来，它需要提炼：
  • 扁平提取（Flat）：直接将原始信息记录到存储中，或应用摘要和分段等轻量级预处理。
  • 分层提取（Hierarchical）：通过多粒度抽象机制将碎片化信息组织成层次结构，旨在模拟人类在宏观背景和微观细节之间灵活切换的认知能力。
  • 生成式提取（Generative）：旨在推理过程中动态重建上下文，从而缓解因过大上下文长度带来的计算开销和注意力稀释问题。
• 记忆更新（Memory Updating）
  遗忘是为了更好地记住，更新机制分为两层：
  • 轨迹内更新（Inside-Trial）：针对上下文窗口，像人类选择性注意一样，实时过滤无关噪声，或在窗口快满时触发摘要工具，腾出空间。
  • 跨轨迹更新（Cross-Trial）：针对外部记忆库，引入遗忘机制，自动剔除低价值或长时间未访问的记忆节点。
• 记忆检索（Memory Retrieval）
  不仅仅是 Embedding 的相似度，主要分为两种：
  • 基于相似度（Similarity-based）：计算余弦相似度，找 Top-k，但相当于只懂字面意思，不懂逻辑结构。
  • 多因素检索（Multi-factor）：根据时间、重要性、相关性、结构效率和预期奖励等因素确定记忆优先级。
• 记忆应用（Memory Application）
  记忆怎么用，主要有两种范式：
  • 上下文利用（Context Utilization）：将记忆视为被动参考的传统检索增强生成范式。
  • 参数内化（Parameter Internalization）：该范式借鉴终身学习，将显性记忆转化为隐性参数。

Agent 记忆系统评测

综述将现有的 Benchmark 分为了两类：
* 面向语义（Semantic-oriented）：重点关注 Agent 如何构建、维护和利用其内部记忆中的信息状态。
* 面向情景（Episodic-oriented）：旨在评估复杂下游应用场景（如使用外部工具完成任务）中 Agent 上记忆系统的实际性能增益。

表 1. 面向语义的基准

表 2. 面向情景的基准

Agent 记忆的安全

1. 攻击

随着 Agent 被部署于长期任务，其记忆系统本身可能成为攻击目标。主要的攻击方式可分为两类：

• 窃取攻击：攻击者的目标是“偷数据”，即利用精心设计的提示词诱导 Agent，从其长期记忆中套取用户敏感信息。例如，黑客可能伪装成系统管理员，试图获取存储的隐私数据。
• 投毒攻击：攻击者的目标是“坏脑子”，即污染或篡改 Agent 的记忆与认知。具体方式包括：
  • 后门植入：向记忆库中注入带有特定“触发器”的恶意数据。Agent 在正常情况下表现良好，但一旦遇到触发指令，便会执行预设的恶意行为。
  • 认知污染：向记忆库中注入大量噪声或带有偏见的数据，旨在使 Agent 的判断力退化，变得糊涂或产生严重的价值观偏差。

2. 防御

为应对上述威胁，可以构建从源头到输出的三道闭环防线：

• 检索防御：在 Agent 读取记忆前进行清洗与验证。例如，通过多路检索比对信息的一致性，过滤可疑或冲突的记忆内容。
• 响应防御：在 Agent 生成回答时进行实时监控与审查。可引入审查机制或利用 Agent 的自我反思能力，在输出前预测潜在后果，拦截包含恶意意图的响应。
• 隐私防御：在底层存储架构上进行设计。例如，将记忆划分为“公有”与“私有”区域，对敏感数据进行匿名化或加密处理，确保 Agent 在协作时仅传递必要信息，不泄露核心隐私。

未来展望

1. 多模态记忆

未来的 Agent 记忆系统需要打破模态界限。当前 Agent 在处理视频、音频等非结构化数据时，常采用“暴力压缩”或“转写为文字”的方式，导致大量丰富的视觉细节（如微表情、光影变化）和听觉情感信息丢失。理想的记忆系统应是全模态的，不仅能存储文本，还能高效存储压缩后的视觉、听觉特征向量。其终极目标是使 Agent 不仅能“读”懂文字，还能“看”见并理解物理世界的丰富信息。

2. Agent Skills

当前 Agent 的记忆往往是孤立的。一个训练用于编写代码的 Agent，其经验（记忆）很难直接迁移给另一个专攻数学的 Agent，这导致了严重的“重复造轮子”问题。其根源在于不同 Agent 之间的异构性，使得记忆接口不一致，难以移植和重用。

为此，可以借鉴“Agent Skills”的概念，即将完成特定任务所需的指令集、可执行脚本和相关资源封装成结构化的、可复用的单元。这类似于游戏中的“装备”或“技能书”，可以在不同的角色（Agent）之间传递和使用。

为实现这一愿景，未来研究可能聚焦于两个方向：

• 多模态信息的统一存储与表示：当前记忆系统主要为文本设计。如何构建支持文本、图像、音频和视频等多模态信息的统一存储框架，并设计高效的跨模态检索与推理机制，是实现跨模态技能迁移的关键。
• 跨 Agent 的技能转移与适应机制：不同架构的 Agent（例如基于不同基础模型构建的 Agent）在能力特征和接口规范上存在差异。设计通用的技能描述语言，使技能能够无缝地转移并在异构 Agent 间重用，是构建真正可共享的技能生态系统的核心挑战。

关注“鲸栖”小程序，掌握最新AI资讯