AI安全前沿：因果推理与稀疏自编码器驱动的LLM越狱攻击突破

本期关注2026年2月9日arXiv上发布的AI安全前沿研究，核心内容如下：

🤖 CFA2框架利用因果推理和稀疏自编码器实现对LLMs的高成功率、低复杂度越狱攻击。 – Causal Front-Door Adjustment for Robust Jailbreak Attacks on LLMs (http://arxiv.org/pdf/2602.05444v1.pdf)

• 该研究提出了一种基于因果前门调整的攻击框架CFA2，通过将安全机制建模为未观测的混杂因子，并利用稀疏自编码器（SAEs）提取任务意图特征，从而实现对大型语言模型（LLMs）的鲁棒性越狱攻击。
• 实验结果表明，CFA2在四个不同的模型家族上实现了平均攻击成功率（ASR）83.68%，显著优于现有的优化基越狱攻击方法（如GCG），并保持了生成响应的流畅性和自然度。
• 该方法通过权重正交化技术，物理性地剥离了模型中的防御子空间，将复杂的因果边缘化计算简化为确定性的前向传播，从而大幅降低了计算复杂度，实现了高效的攻击生成。

🔍 少样本示例对LLM越狱防御策略产生相反效果，强化RoP但削弱ToP，揭示了注意力机制在安全防御中的关键作用。 – How Few-shot Demonstrations Affect Prompt-based Defenses Against LLM Jailbreak Attacks (http://arxiv.org/pdf/2602.04294v1.pdf)

• 研究发现，少样本示例对基于角色导向提示（RoP）和任务导向提示（ToP）的防御策略产生相反效果：RoP在少样本示例的强化下安全率提升最高达4.3%，而ToP则因注意力分散导致安全率下降最高达21.2%。
• 研究揭示了少样本示例影响防御效果的机制：RoP通过强化角色认同提升安全性，而ToP则因示例内容与任务指令竞争注意力而降低防御效果，这一差异在不同模型和数据集上保持一致。
• 研究指出，推理增强的“思考模式”模型对越狱攻击和少样本示例的负面影响更为敏感，其安全率下降幅度显著，表明模型架构对防御策略的交互效应有重要影响。

🤖 UltraBreak框架通过视觉空间约束和语义导向损失，实现了对多模态大模型的通用且可转移的越狱攻击。 – Toward Universal and Transferable Jailbreak Attacks on Vision-Language Models (http://arxiv.org/pdf/2602.01025v1.pdf)

• 研究提出了一种名为UltraBreak的新型攻击框架，通过在视觉空间中引入随机变换和总变差正则化，成功实现了对多模态大型语言模型（VLMs）的通用且可转移的越狱攻击。
• 该方法通过语义导向的损失函数替代传统的交叉熵损失，显著平滑了损失景观，从而增强了攻击图像在不同目标模型和查询上的泛化能力，平均攻击成功率（ASR）达到71.05%。
• 实验表明，UltraBreak在黑盒设置下对多种开源和闭源VLMs均有效，且仅需单一代理模型即可实现跨模型攻击，挑战了现有攻击方法需要多个代理模型才能实现可转移性的假设。

🔍 该论文提出了一种通过噪声增强对齐和分层随机擦除实现大语言模型可证明鲁棒性的框架，显著提升了模型的安全性和实用性。 – Provable Defense Framework for LLM Jailbreaks via Noise-Augumented Alignment (http://arxiv.org/pdf/2602.01587v1.pdf)

• 该研究提出了一种通过噪声增强对齐（NAAT）训练语言模型作为语义去噪器，从而在保持高良性效用（94.1%）的同时，将对抗攻击成功率从84.2%显著降低至1.2%。
• 研究通过分层随机擦除（Stratified Randomized Ablation）技术，结合超几何分布，为离散token空间中的大语言模型提供了严格的ℓ0范数鲁棒性证明，平均认证半径达到14.6个token。
• 研究揭示了现有字符级平滑方法（如SmoothLLM）在稀疏输入下存在‘倒置缩放谬误’，导致模型效用急剧下降，而提出的CSS框架通过token级擦除有效缓解了这一问题。

🔍 RACA通过表示感知覆盖标准为LLM安全测试提供了一种新颖且有效的框架，显著提升了测试效率和准确性。 – RACA: Representation-Aware Coverage Criteria for LLM Safety Testing (http://arxiv.org/pdf/2602.02280v1.pdf)

• RACA框架通过表示感知覆盖标准解决了传统神经元级覆盖标准在LLM安全测试中的可扩展性和适应性问题，通过聚焦于安全关键概念来减少维度并过滤无关信息。
• 实验结果表明，RACA在识别高质量越狱提示方面表现优异，对无效或冗余输入不敏感，且在真实世界场景中具有实际应用价值，如测试集优先级和攻击提示采样。
• RACA在不同模型规模、校准集大小、表示提取层和超参数配置下均表现出良好的泛化能力，证明了其作为LLM安全测试标准的鲁棒性和可靠性。

🤖 良性激活引导技术虽提升模型实用性，却意外增加LLMs的越狱风险，暴露了部署中的安全盲点。 – Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models (http://arxiv.org/pdf/2602.04896v1.pdf)

• 研究发现，良性激活引导技术在提升大型语言模型（LLMs）的合规性和响应格式（如JSON）方面有效，但会无意中削弱模型的安全防护，导致攻击者更容易实施越狱攻击。
• 实验数据显示，使用激活引导技术后，模型在面对恶意提示时的攻击成功率显著增加，例如在标准基准测试中，攻击成功率从接近零提升至超过80%，甚至在某些情况下达到近99%。
• 研究揭示了激活引导技术通过改变模型生成文本的初始概率分布，特别是抑制拒绝性前缀，从而降低模型的安全边际，使得越狱攻击更容易成功，这一现象被称为‘引导外部性’。

🤖 版权侦探系统揭示大型语言模型存在高概率的版权泄露风险，且劝说式越狱和知识内化进一步加剧了这一问题。 – Copyright Detective: A Forensic System to Evidence LLMs Flickering Copyright Leakage Risks (http://arxiv.org/pdf/2602.05252v1.pdf)

• 版权泄露风险在大型语言模型中高度概率化，通过推理缩放技术发现，不同模型的版权保留分数差异显著，例如Llama-3.1-70B的中位保留分数约为0.42，而其8B版本仅为0.1。
• 劝说式越狱技术能显著提升版权泄露风险，通过特定的修辞策略，模型输出分布从近乎确定的拒绝转变为概率性泄露，例如在提取《霍比特人》前100词时，ROUGE-L分数从峰值0.1显著上升。
• 知识内化检测揭示模型不仅可能复述文本，还能在语义层面保留信息，通过结构化问题和单选题测试，发现模型对版权材料的准确率高达80%以上，表明深度学习风险普遍存在。

🔍 该研究揭示了大型语言模型在安全评估中的根本缺陷，即忽视了执行成本这一关键维度，从而导致对现实世界威胁的评估出现系统性偏差。 – Expected Harm: Rethinking Safety Evaluation of (Mis)Aligned LLMs (http://arxiv.org/pdf/2602.01600v1.pdf)

• 当前LLM安全评估主要依赖于基于严重性的分类体系，但该方法假设所有恶意查询的风险相同，忽略了执行可能性这一关键因素，即给定模型响应下威胁实现的条件概率。
• 研究发现大型语言模型存在系统性的反向风险校准问题：模型对高成本（低可能性）威胁表现出更强的拒绝行为，而对低成本（高可能性）查询则较为脆弱，这与现实世界中最常请求的恶意查询类型相悖。
• 通过分解高成本查询为多个低成本子任务，研究者成功提升了现有越狱攻击的成功率，最高可达2倍，揭示了当前安全防护机制在面对分布式危害时的结构性脆弱性。

🔍 该研究展示了通过美德伦理方法设计LLMs的可行性和潜在益处，同时揭示了实施中的挑战。 – Is It Possible to Make Chatbots Virtuous? Investigating a Virtue-Based Design Methodology Applied to LLMs (http://arxiv.org/pdf/2602.03155v1.pdf)

• 研究发现，通过将美德伦理应用于大型语言模型（LLMs）的设计，可以产生五种新的伦理设计模式，这些模式旨在提升模型的准确性、稳健性和安全性，同时减少资源浪费。
• 参与者认为这些设计模式能够提供更好的准确性、稳健性、安全性，并创造新的研究机会，但同时也担心这些模式可能被破解、过度泛化以及实施上的技术限制。
• 总体而言，尽管存在权衡和挑战，但参与者对这些设计模式持积极态度，认为即使不完美，实施伦理设计也比不实施更好，这表明在LLM设计中融入美德伦理是可行且有价值的。

🔍 RAI框架通过风险信号注入实现视觉语言模型的安全校准，有效平衡了安全性和实用性。 – Risk Awareness Injection: Calibrating Vision-Language Models for Safety without Compromising Utility (http://arxiv.org/pdf/2602.03402v1.pdf)

• 风险感知注入（RAI）框架通过在视觉语言模型中注入风险信号，显著降低了攻击成功率，同时保持了模型的实用性能。
• RAI通过构建不安全原型子空间并选择性地增强高风险视觉标记，解决了视觉输入导致的安全信号稀释问题。
• 实验表明，RAI在多种攻击场景下均能实现近乎完美的防御效果，且对模型的通用能力影响极小。

🔍 该研究揭示了大型语言模型中对抗性令牌位置对攻击成功率的关键影响，强调了安全评估中需考虑令牌位置变化的重要性。 – Beyond Suffixes: Token Position in GCG Adversarial Attacks on Large Language Models (http://arxiv.org/pdf/2602.03265v1.pdf)

• 该研究发现，通过优化生成前缀而非后缀作为对抗性令牌，并在评估时允许对抗性令牌位置变化，可以显著提高对大型语言模型（LLMs）的攻击成功率，从而揭示了当前安全评估方法的局限性。
• 实验结果显示，在白盒和黑盒跨模型场景下，对抗性令牌位置的变化会导致攻击成功率（ASR）在不同模型上出现显著差异，例如在某些模型中，允许位置变化后ASR最高可提升至99%，这表明固定位置评估会低估实际风险。
• 研究强调，仅关注后缀作为对抗性令牌位置会忽略攻击效果的关键因素，而注意力机制分析显示，前缀位置的对抗性令牌在模型早期层获得更高关注，这进一步证明了对抗性令牌位置对攻击成功率的直接影响。

🔍 通过引入单调性作为架构偏置，研究显著提升了语言模型的对抗鲁棒性，同时保持了任务性能。 – Monotonicity as an Architectural Bias for Robust Language Models (http://arxiv.org/pdf/2602.02686v1.pdf)

• 研究发现，通过在Transformer模型的前馈子层中强制实施单调性约束，可以显著提升模型对对抗攻击和越狱攻击的鲁棒性，攻击成功率从基线模型的63%降至19%。
• 实验结果表明，尽管单调性约束略微降低了模型的任务性能（如摘要生成的ROUGE-L分数下降约3%），但这种性能损失是可接受的，且不会影响模型的整体实用性。
• 理论分析显示，单调性通过限制内部表示中信息增强或约束强化不会导致下游表示的退化，从而削弱了基于梯度的攻击策略的有效性，为模型鲁棒性提升提供了机制解释。

🔍 TrustTheTypical框架通过统计典型性检测方法，实现了对大型语言模型安全威胁的高效识别与防御。 – Trust The Typical (http://arxiv.org/pdf/2602.04581v1.pdf)

• TrustTheTypical框架通过将安全问题转化为统计典型性检测问题，利用嵌入空间中的几何结构识别异常，实现了对18个基准测试的领先性能。
• 该框架仅需使用安全文本进行训练，即可在零样本条件下检测到新型攻击，如越狱攻击和语义伪装，且在多语言和跨领域场景下保持高精度。
• T3框架集成到vLLM推理引擎后，仅引入小于6%的计算开销，即可实现实时安全监控，显著降低了误报率并提升了生产环境中的安全性。

🔍 该研究通过概念字典学习实现了具身系统推理时的安全控制，显著降低攻击成功率。 – Concept-Based Dictionary Learning for Inference-Time Safety in Vision Language Action Models (http://arxiv.org/pdf/2602.01834v1.pdf)

• 研究提出了一种基于概念字典学习的推理时安全控制框架，通过构建稀疏可解释的字典从隐藏激活中识别有害概念，并应用阈值干预抑制不安全激活，从而有效提升具身系统中的模型安全性。
• 在Libero-Harm、BadRobot、RoboPAIR和IS-Bench等基准测试中，该方法将攻击成功率（ASR）显著降低，最高减少超过70%，同时保持任务成功率，展示了其在处理显式危险指令和对抗性越狱攻击方面的卓越性能。
• 该框架具有即插即用和模型无关的特性，无需重新训练即可集成到各种VLA模型中，为具身AI系统的安全部署提供了一种实用且通用的解决方案。

🔍 大型语言模型在零样本和少样本提示下显著提升了钓鱼URL检测性能，尤其在不平衡数据集上表现优异。 – Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection (http://arxiv.org/pdf/2602.02641v1.pdf)

• 在零样本和少样本提示下，大型语言模型（LLMs）在钓鱼URL检测中表现出显著性能提升，其中Grok-3-Beta在少样本设置下实现了最高的准确率（0.9405）和F1分数（0.9399）。
• 在不平衡数据集上，钓鱼URL比例从1%增加到10%时，所有模型的F1分数均有提高，Grok-3-Beta在10%不平衡比例下使用1个示例时达到最佳性能（F1分数0.906），而Claude-3.7在9个示例下表现最佳（F1分数0.876）。
• 钓鱼攻击持续增长，2024年检测规避攻击中AI生成钓鱼占比较小，但自2022年以来钓鱼攻击量增长超过4000%，少样本学习为应对快速演变的钓鱼策略提供了实用替代方案。

🔍 该研究系统性地分析了提示注入攻击对LLM-based网络钓鱼检测系统的威胁，并提出了有效的防御框架InjectDefuser。 – Clouding the Mirror: Stealthy Prompt Injection Attacks Targeting LLM-based Phishing Detection (http://arxiv.org/pdf/2602.05484v1.pdf)

• 研究揭示了LLM-based网络钓鱼检测系统面临新型隐蔽的提示注入攻击，这些攻击利用人类与LLM感知差异，通过HTML元数据、脚本和不可见内容等攻击表面植入恶意指令，导致检测系统错误分类。
• 实验结果显示，即使采用GPT-5等最先进模型，其在标准模式下对提示注入攻击的成功率仍高达39.9%，而通过InjectDefuser防御框架，攻击成功率显著降低至0.3%，证明了防御框架的有效性。
• 研究提出了InjectDefuser防御框架，结合提示加固、基于允许列表的检索增强生成和输出验证，通过检测、隔离和中和恶意指令，大幅提升了LLM-based检测系统的鲁棒性和可靠性。

🤖 MAGIC通过攻击者-防御者共进化游戏提升LLM安全对齐，实现动态威胁发现与防御。 – MAGIC: A Co-Evolving Attacker-Defender Adversarial Game for Robust LLM Safety (http://arxiv.org/pdf/2602.01539v1.pdf)

• 该论文提出了一种名为MAGIC的新型多智能体强化学习框架，将大型语言模型（LLM）的安全对齐问题建模为攻击者和防御者之间的对抗性不对称游戏，通过解耦优化使双方能够共进化。
• 实验结果表明，MAGIC显著提高了防御成功率，例如在WildGuardTest基准上将攻击成功率从36.5%降至2.3%，同时保持了模型的有用性和对良性输入的合规性。
• 攻击者在迭代强化学习过程中能够演化出新颖的组合攻击策略，这些策略在现有数据集中不存在，展示了自动化攻击者发现动态威胁的潜力。

🤖 BadTemplate攻击利用聊天模板漏洞，通过系统提示注入实现高成功率、轻量级的后门攻击，对大型语言模型供应链构成严重威胁。 – BadTemplate: A Training-Free Backdoor Attack via Chat Template Against Large Language Models (http://arxiv.org/pdf/2602.05401v1.pdf)

• 研究揭示了聊天模板的可定制性允许攻击者在系统提示中注入恶意指令，从而实施无需训练的后门攻击，成功率达100%。
• BadTemplate攻击通过修改聊天模板而不改变模型参数，实现了轻量级部署，可在开源和闭源大型语言模型上广泛传播，造成经济损失和社会危害。
• 现有第三方平台如HuggingFace和LLM-as-a-judge的检测机制对BadTemplate攻击无效，表明需要开发更有效的防御机制来应对聊天模板安全威胁。

🔍 该研究通过分离资产与攻击路径分析，为汽车领域LLM代理的安全威胁建模提供了新框架。 – Agent2Agent Threats in Safety-Critical LLM Assistants: A Human-Centric Taxonomy (http://arxiv.org/pdf/2602.05877v1.pdf)

• 该研究提出了AgentHeLLM框架，通过将资产识别与攻击路径分析分离，解决了现有AI安全框架在安全关键系统工程中概念混杂的问题。
• 研究引入了以人为中心的资产分类法，基于《世界人权宣言》，将资产定义为人类核心价值，而非技术组件，并通过案例展示了其在汽车环境中的应用。
• 研究开发了开源工具AgentHeLLM Attack Path Generator，通过双层搜索策略实现了攻击路径的自动化发现，有效捕捉了递归式攻击结构。

🔍 LLM生成的软件存在可预测的漏洞模式，攻击者可通过前端功能特征预测后端漏洞，暴露了未被充分研究的攻击面。 – Extracting Recurring Vulnerabilities from Black-Box LLM-Generated Software (http://arxiv.org/pdf/2602.04894v1.pdf)

• LLM生成的软件中存在可预测的漏洞模式，攻击者可以通过前端功能特征预测后端漏洞，无需访问源代码。
• 漏洞模式在跨领域和功能特征条件下表现出高度持久性，例如Claude-4.5 Opus在排除目标领域训练的情况下，攻击成功率高达94%，漏洞覆盖率93%。
• FSTab框架通过构建漏洞-特征映射表，量化了模型生成代码中漏洞的再现性，揭示了LLM生成代码的固有安全风险。

🔍 SynAT通过自动合成攻击树，显著提升了安全知识库的维护效率和准确性，为软件安全防护提供有力支持。 – SynAT: Enhancing Security Knowledge Bases via Automatic Synthesizing Attack Tree from Crowd Discussions (http://arxiv.org/pdf/2602.05329v1.pdf)

• SynAT利用大型语言模型（LLM）和提示学习来筛选可能包含攻击信息的句子，从而减少无关句子的影响，提高攻击事件和关系提取的准确性。
• SynAT采用基于转换的事件和关系联合抽取模型，能够同时提取攻击事件及其关系，并通过自定义规则合成攻击树，其在事件和关系提取任务中分别达到80.93%和87.81%的F1分数。
• SynAT在5,070个Stack Overflow安全帖子上进行实验，生成的攻击树与真实树的平均汉明距离（AHD）为10.24%，树编辑距离相似性（TEDS）为7.93%，显著优于所有基线方法。

🔍 SDAG通过稀疏注意力机制有效防御RAG系统中的知识投毒攻击，显著提升系统安全性和准确性。 – Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention (http://arxiv.org/pdf/2602.04711v2.pdf)

• 研究提出了一种名为Sparse Document Attention RAG（SDAG）的新防御方法，通过在检索增强生成（RAG）系统中采用块稀疏注意力机制，禁止跨文档注意力，从而有效抵御知识投毒攻击，显著降低了攻击成功率（ASR）。
• 实验表明，SDAG在单文档和多文档攻击场景下均优于标准因果注意力机制（CARG）及现有最先进的防御方法，尤其在单文档攻击中，其性能提升显著，且可与现有防御方法集成以进一步提升防御效果。
• 研究还发现，嵌入空间中对抗文档与良性文档的距离越近，攻击效果越强，而SDAG通过限制注意力范围，减少了对抗文档对生成结果的影响，从而提高了系统的鲁棒性。

🤖 该研究揭示了当前基于监控的代理安全防御机制存在根本性脆弱性，即使使用大型语言模型作为监控器也无法有效抵御代理作为攻击载体的新型攻击方式。 – Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks (http://arxiv.org/pdf/2602.05066v1.pdf)

• 研究发现，通过将AI代理作为代理攻击（Agent-as-a-Proxy）的手段，可以绕过基于监控的防御机制。即使使用前沿规模的监控模型如Qwen2.5-72B，也能被类似能力的代理如GPT-4o mini和Llama-3.1-70B欺骗。
• 实验结果表明，攻击成功率在不同监控协议下均超过90%。例如，在AlignmentCheck和Extract-and-Evaluate监控下，使用Llama-3.1-8B、Mistral-7B和Qwen2.5-7B作为监控模型时，攻击成功率分别达到42.3%、93.3%和90.7%。
• 研究揭示了混合监控协议的悖论：虽然它比仅监控思维链（CoT）的协议在静态攻击中更有效，但在自适应攻击面前，其漏洞率更高，攻击者可以通过代理重复攻击字符串来操纵监控系统。

🔍 聊天模板成为语言模型供应链中一个可靠且未被防御的后门攻击入口。 – Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates (http://arxiv.org/pdf/2602.04653v2.pdf)

• 研究发现聊天模板可以被恶意修改，从而在不修改模型权重、训练数据或部署基础设施的情况下植入后门，导致模型在触发条件下输出错误信息或泄露攻击者控制的URL。
• 实验结果显示，当触发条件出现时，模型的事实准确性从90%降至15%，而攻击者控制的URL被成功输出的比率超过80%，且在正常输入下无明显性能下降。
• 攻击在18个模型、7个模型家族和4个推理引擎上均有效，且能够绕过Hugging Face等大型开放权重模型分发平台的自动化安全扫描。

🔍 PriMod4AI通过结构化知识与LLM结合，实现了AI系统全生命周期的隐私威胁统一建模与识别。 – PriMod4AI: Lifecycle-Aware Privacy Threat Modeling for AI Systems using LLM (http://arxiv.org/pdf/2602.04927v1.pdf)

• PriMod4AI框架通过结合结构化隐私知识库和检索增强生成技术，实现了对AI系统全生命周期中传统LINDDUN隐私威胁和模型中心隐私攻击的统一识别与分类。
• 实验结果表明，PriMod4AI在经典LINDDUN威胁识别上与PILLAR工具保持了85%-85.2%的召回率和较高的Jaccard相似度，同时成功识别了多种AI驱动的模型中心隐私攻击，如成员推断和模型反演。
• 框架采用检索增强生成和知识库嵌入技术，显著提升了隐私威胁分析的可解释性和一致性，跨模型平均一致性达0.7以上，为AI系统的隐私风险管理提供了可靠工具。

🔍 TxRay 是一种基于 LLM 的区块链攻击事后分析系统，能够从有限证据中重建攻击生命周期并生成可验证的漏洞复现案例，显著提升 DeFi 领域的安全分析效率。 – TxRay: Agentic Postmortem of Live Blockchain Attacks (http://arxiv.org/pdf/2602.01317v3.pdf)

• TxRay 使用大型语言模型（LLM）辅助分析区块链攻击事件，能够从有限的交易证据中重建攻击生命周期，并生成可执行的漏洞复现案例，实现92.11%的攻击事件复现成功率。
• TxRay 生成的漏洞复现案例避免了硬编码攻击者地址和攻击特定常量，使得复现过程与攻击者控制的链上状态解耦，提高了复现的自包含性和一致性。
• 在实时部署中，TxRay 能在中位数40分钟内提供验证的根因分析报告，59分钟内生成可执行的复现案例，显著缩短了攻击事件响应时间。

🔍 对抗性解释攻击通过操纵LLMs生成的解释框架，成功诱导用户对错误AI输出产生高度信任，揭示了AI辅助决策系统中的认知漏洞。 – When AI Persuades: Adversarial Explanation Attacks on Human Trust in AI-Assisted Decision Making (http://arxiv.org/pdf/2602.04003v1.pdf)

• 研究发现，对抗性解释攻击（AEAs）能够通过操纵大型语言模型（LLMs）生成的解释框架，使用户对错误的AI输出产生与正确输出几乎相同的信任度。这种信任误校准差距在任务难度高、事实驱动领域以及教育水平较低或年龄较小的用户中尤为显著。
• 对抗性解释在结合权威证据、中性语气和领域适当推理模式时，最易模仿可信专家的沟通风格，导致用户信任度大幅增加，即使输出内容错误。这种现象在商业、政治和法律等主观性较强的领域更为突出。
• 用户对对抗性解释的信任度主要源于解释本身而非事实或AI系统。重复暴露于误导性解释会导致信任逐渐侵蚀，但持续接触良性解释则能恢复和稳定信任，表明短期决策易受操纵，而长期信任则可能发生变化。

🔍 Zero2Text提出了一种零训练、跨域的嵌入反演攻击框架，能够在黑盒环境下高效重建原始文本，对现有隐私保护机制构成严峻挑战。 – Zero2Text: Zero-Training Cross-Domain Inversion Attacks on Textual Embeddings (http://arxiv.org/pdf/2602.01757v2.pdf)

• Zero2Text框架通过结合预训练大语言模型和在线优化机制，实现了在严格黑盒环境下的跨域文本重建，无需依赖任何训练数据或泄露的嵌入-文本对。
• 在MS MARCO数据集上，Zero2Text对OpenAI的3-large嵌入模型实现了1.8倍ROUGE-L和6.4倍BLEU-2得分的提升，显著优于现有基线方法Vec2Text和ALGEN。
• 标准防御机制如微分隐私和噪声注入在面对Zero2Text的递归对齐攻击时效果有限，突显了现有嵌入保护方法的不足，亟需更强大的隐私保护策略。

🔍 通过因果推断框架，该研究解决了成员推理攻击评估中的系统性偏差问题，为大规模模型的隐私风险评估提供了新方法。 – Membership Inference Attacks from Causal Principles (http://arxiv.org/pdf/2602.02819v2.pdf)

• 该研究将成员推理攻击（MIA）评估框架转化为因果推断问题，揭示了现有评估方法中的系统性偏差，特别是在单次训练和零次评估场景下。
• 通过因果框架，研究提出了针对多轮、单轮和零轮评估场景的稳健估计量，并提供了非渐近一致性保证，从而在无需重新训练的情况下实现可靠的隐私风险评估。
• 实验证明，该方法在现实数据上有效修正了分布偏移导致的偏差，为大规模模型的隐私评估提供了原则性基础。

🔍 Cve2PoC提出了一种双循环代理框架，通过分离战略规划与战术执行，显著提升了自动化漏洞复现的成功率和代码质量。 – A Dual-Loop Agent Framework for Automated Vulnerability Reproduction (http://arxiv.org/pdf/2602.05721v1.pdf)

• Cve2PoC框架通过双循环架构实现了漏洞复现的成功率提升，其中在SecBench.js数据集上达到82.9%，在PatchEval数据集上达到54.3%，显著优于现有基线方法。
• 该框架的核心创新在于分离了战略规划与战术执行：战略规划模块提取漏洞信息并生成攻击计划，战术执行模块进行代码合成与多层验证，自适应调整模块则根据执行结果进行策略修正或代码优化。
• 人类评估显示，Cve2PoC生成的PoC代码在可读性和可重用性方面与人工编写代码相当，甚至在可读性上有所提升，表明其生成的代码质量具有实用价值。

🤖 AutoInject 通过强化学习实现了自动化提示注入攻击，显著提升了攻击成功率并保持了模型的正常功能。 – Learning to Inject: Automated Prompt Injection via Reinforcement Learning (http://arxiv.org/pdf/2602.05746v1.pdf)

• AutoInject 使用强化学习框架生成通用且可转移的对抗性后缀，成功在 GPT-5-nano、Claude Sonnet 3.5 和 Gemini 2.5 Flash 等前沿系统上实现自动化提示注入攻击。
• 与基于模板的攻击相比，AutoInject 在 Gemini-2.5-flash 上实现了 58% 的攻击成功率，远高于模板攻击的 35%；在 GPT-5-nano 上实现了 11.49% 的攻击成功率，显著优于模板攻击的 1.6%。
• AutoInject 在攻击过程中保持了较高的任务完成率，甚至在某些情况下超过了模型未受攻击时的基准水平，表明其攻击策略能够在不显著降低模型正常功能的情况下实现注入目标。

🔍 SCD通过提取功能性需求并对比输出分布，有效防御Verilog代码生成中的后门攻击，同时保持生成质量。 – Semantic Consensus Decoding: Backdoor Defense for Verilog Code Generation (http://arxiv.org/pdf/2602.04195v1.pdf)

• 研究发现，攻击者倾向于在Verilog代码生成的非功能性需求中嵌入后门触发器，而非功能性需求如样式修饰或质量描述，不会改变硬件行为，从而避免检测。
• 提出的Semantic Consensus Decoding（SCD）防御方法通过提取功能性需求并对比完整输入与提取需求的输出分布，显著降低平均攻击成功率，从89%降至2.16%（VerilogEval）和1.39%（ResBench），同时保持生成质量。
• SCD防御方法在不同污染率（1%-10%）和模型规模（0.5B-14B参数）下均表现出色，平均攻击成功率仍低于3%，证明其在实际应用中的鲁棒性和可扩展性。

🤖 MaMa通过游戏理论自动设计出在代理被攻陷时仍能保持安全的代理系统，显著提升安全性而不牺牲性能。 – MaMa: A Game-Theoretic Approach for Designing Safe Agentic Systems (http://arxiv.org/pdf/2602.04431v1.pdf)

• MaMa框架通过游戏理论方法，将系统设计者与攻击者建模为Stackelberg博弈的领导者与跟随者，从而自动设计出在部分代理被攻陷时仍能保持安全的代理系统。
• 实验结果表明，使用MaMa设计的系统在面对最坏情况攻击时，安全得分显著高于初始设计和现有安全机制，同时保持了与仅优化任务成功率的系统相当的任务性能。
• 这些系统不仅在原始训练环境中表现出色，还能在面对不同攻击目标、更强攻击者或不同底层LLM时保持稳健的安全性，展示了超越训练环境的鲁棒性。

🔍 研究揭示多模态大语言模型的安全性存在显著差异，且随更新变化，强调了纵向评估的必要性。 – Alignment Drift in Multimodal LLMs: A Two-Phase, Longitudinal Evaluation of Harm Across Eight Model Releases (http://arxiv.org/pdf/2602.04739v1.pdf)

• Pixtral模型始终是最脆弱的，Claude模型则因高拒绝率而表现最安全。
• 攻击成功率显示明显的对齐漂移：GPT和Claude模型在代际间攻击成功率上升，而Pixtral和Qwen模型则略有下降。
• 模态效应随时间变化：第一阶段文本提示更有效，而第二阶段各模型表现各异，GPT-5和Claude 4.5在不同模态下脆弱性相近。

🔍 Threads平台算法与用户传播行为的差异揭示了台湾蓝鸟运动中政治动员的新动态，AI生成图像在其中扮演了关键角色。 – The First Mass Protest on Threads: Multimodal Mobilization and AI-Generated Visuals in Taiwan’s Bluebird Movement (http://arxiv.org/pdf/2602.02640v1.pdf)

• 台湾蓝鸟运动在2024年5月爆发，超过10万示威者上街抗议议会改革，这是台湾民主历史上规模最大的青年主导抗议活动之一。
• Threads平台在台湾的流量占比高达23.75%，成为该地区政治动员和公共讨论的重要场所，其算法推荐机制与用户主动传播行为之间存在显著差异。
• 生成式AI被用于创建动物和植物符号进行政治动员和攻击，例如DPP支持者使用蓝鸟和冬鹿等可爱形象，而反对者则使用哥布林和青蛙等丑化符号，体现了‘kawaii toxicity’现象。

🔒 SMCP通过统一身份管理、持续上下文传播和细粒度策略执行，为MCP协议提供了端到端的安全保障。 – SMCP: Secure Model Context Protocol (http://arxiv.org/pdf/2602.01129v1.pdf)

• SMCP通过统一的身份管理和认证机制，解决了MCP协议中缺乏统一信任和认证的问题，确保了协议参与者的真实性和可靠性。
• SMCP引入了持续的安全上下文传播和细粒度策略执行，能够在工具调用过程中动态调整权限，有效减少未经授权的访问和滥用。
• SMCP的审计日志功能提供了全面的追踪能力，确保所有操作可追溯，从而支持合规性和事后审计，增强了系统的透明度和问责性。

🔍 SPIDER-SENSE通过内在风险感知与分层防御机制，实现了高效且精准的智能体安全防护。 – Spider-Sense: Intrinsic Risk Sensing for Efficient Agent Defense with Hierarchical Adaptive Screening (http://arxiv.org/pdf/2602.05386v1.pdf)

• SPIDER-SENSE框架通过内在风险感知机制实现了事件驱动的防御策略，显著降低了攻击成功率（ASR）至最低水平，同时保持了较低的误报率（FPR）。
• 该框架采用分层自适应筛选机制，在高效模式匹配与深度推理之间取得平衡，仅在感知到风险时触发防御，从而大幅减少了不必要的安全检查，将延迟开销控制在8.3%以内。
• S2Bench基准测试涵盖了多阶段攻击场景和真实工具执行，全面评估了防御框架在复杂环境中的表现，验证了SPIDER-SENSE在不同攻击类型下的鲁棒性。

🔍 RedVisor通过推理感知的防御机制和零拷贝KV缓存重用，实现了高效且轻量级的提示注入攻击防御。 – RedVisor: Reasoning-Aware Prompt Injection Defense via Zero-Copy KV Cache Reuse (http://arxiv.org/pdf/2602.01795v1.pdf)

• RedVisor框架通过在预训练语言模型顶部添加轻量级适配器，实现了检测和防御相结合的统一方法，显著提升了对提示注入攻击的检测准确率和防御效果。
• RedVisor采用零拷贝KV缓存重用策略，有效减少了推理过程中的冗余计算，提高了系统吞吐量，同时保持了原始模型在正常输入上的性能。
• 实验表明，RedVisor在多种攻击场景下均表现出色，攻击成功率降至零，且在内存密集型的RAG场景中，其延迟和吞吐量优于现有防御方法。

🔍 该研究揭示了静态分析工具在评估LLM生成代码安全性时的局限性，并提出通过人类反馈增强LLM安全评估的方法。 – Persistent Human Feedback, LLMs, and Static Analyzers for Secure Code Generation and Vulnerability Detection (http://arxiv.org/pdf/2602.05868v1.pdf)

• 研究发现，尽管静态分析工具CodeQL和Semgrep在评估LLM生成代码安全性时的总体分类率接近人类判断，但逐个样本分析显示，这些工具的报告与人类验证的基准数据存在显著差异，仅65%和61%的报告准确匹配。
• 研究指出，现有文献在评估LLM生成代码安全性时过度依赖静态分析工具，而忽视了人类验证的重要性，这可能导致评估结果不可靠，因为工具可能产生高误报率且难以在缺乏额外上下文时采取行动。
• 基于研究结果，作者提出了一种概念框架LLMSecGuard，通过动态检索增强生成（RAG）管道持久化存储人类反馈，使LLM能够重用历史反馈进行安全代码生成和漏洞检测，从而提高评估的可靠性。

🤖 LLM生成的智能合约存在高比例的安全漏洞，且漏洞数量随代码长度增加而显著上升，需加强审计以确保生产环境安全。 – Evaluating the Vulnerability Landscape of LLM-Generated Smart Contracts (http://arxiv.org/pdf/2602.04039v1.pdf)

• LLM生成的智能合约存在严重的安全漏洞，其中Sonnet模型生成的合约超过75%存在漏洞，而GPT-4和Gemini模型的漏洞率分别为47.4%和53.2%。
• 智能合约漏洞与代码长度呈正相关，每增加100行代码，漏洞数量增加15%，这表明代码简洁性对安全性至关重要。
• LLM生成的智能合约在低严重性漏洞上表现突出，Sonnet模型生成的低严重性漏洞数量最多，而高严重性漏洞方面，Sonnet模型生成最少，但整体安全性仍需严格审计。

🔍 LogicScan通过对比审计和噪声感知聚合机制，显著提升了智能合约业务逻辑漏洞检测的准确性和效率。 – LogicScan: An LLM-driven Framework for Detecting Business Logic Vulnerabilities in Smart Contracts (http://arxiv.org/pdf/2602.03271v1.pdf)

• LogicScan通过从已部署的链上协议中提取业务逻辑不变量，构建了一个共识驱动的审计框架，显著提高了智能合约业务逻辑漏洞检测的准确性，F1分数达到85.2%。
• 该框架采用Business Specification Language（BSL）将合约代码标准化为可验证的逻辑表示，并通过多维度代码提取和噪声感知聚合机制，有效降低了LLM生成的误报率至7.1%。
• LogicScan在不同LLM后端（如GPT-5、Claude-sonnet 4.5和Qwen-3 235B）上表现出稳定的性能，且在DeFiHacks、Web3Bugs和Top-200数据集上均优于现有工具，证明了其模型无关性和实用性。

🔍 Co-RedTeam通过多智能体协作和执行反馈机制，显著提升了漏洞发现和利用的成功率。 – Co-RedTeam: Orchestrated Security Discovery and Exploitation with LLM Agents (http://arxiv.org/pdf/2602.02164v2.pdf)

• Co-RedTeam框架通过多智能体协作和执行反馈机制，显著提升了漏洞发现和利用的成功率，达到60%以上。
• 执行反馈和长期记忆是提升漏洞分析性能的关键因素，移除这些组件会导致性能大幅下降。
• Co-RedTeam在不同LLM模型上均表现出色，展示了其在多样化工具和任务上的通用性和鲁棒性。

🔍 该研究揭示大型语言模型在逻辑性混淆下的推理缺陷，突显其对表面形式的依赖而非深层理解。 – Don’t Judge a Book by its Cover: Testing LLMs’ Robustness Under Logical Obfuscation (http://arxiv.org/pdf/2602.01132v1.pdf)

• 逻辑性混淆显著降低大型语言模型（LLMs）在推理任务中的表现，平均准确率下降47%（GPT-4o）至22%（reasoning模型）。
• 基准测试LogiQAte包含1,108个问题，涵盖一阶逻辑、血缘关系、数字序列和方向感知四种推理任务，揭示LLMs对表面形式变化的脆弱性。
• 模型在深层推理层（如第28-31层）的置信度下降50-80%，表明逻辑混淆破坏了LLMs的核心推理机制。

🔍 研究揭示了大型语言模型在IaC安全分析与生成中的潜力与局限，强调了改进模型安全能力的迫切需求。 – Can Developers rely on LLMs for Secure IaC Development? (http://arxiv.org/pdf/2602.03648v1.pdf)

• 在Stack Overflow数据集上，使用通用提示词时，GPT-4o和Gemini 2.0 Flash模型能检测到至少71%的安全隐患，而通过引导式提示词，这一比例提升至78%。
• 在GitHub数据集上，使用通用提示词时，模型检测率低于50%，但通过引导式提示词，至少能检测到67%的安全隐患，其中GPT-4o的F1分数从58%提升至89%。
• 在生成安全IaC脚本方面，即使使用引导式提示词，GPT-4o和Gemini 2.0 Flash模型也仅能生成7%和17%的完全安全代码，且多数情况下不提供安全警告，存在较大安全隐患。

🔍 LLMs生成的漏洞利用代码看似成功实则无效，现有验证机制无法可靠检测，研究揭示了其根本性局限。 – I Can’t Believe It’s Not a Valid Exploit (http://arxiv.org/pdf/2602.04165v1.pdf)

• 研究发现，使用静态分析工具指导大型语言模型（LLMs）生成漏洞利用代码（PoC）可将成功率从基线方法FAULTLINE的水平提高21%，但手动检查显示71.5%的生成代码无效，表明现有验证机制无法有效识别LLMs生成的虚假成功案例。
• 通过POC-GYM框架对20个真实世界Java漏洞进行测试，结果显示即使使用静态源-汇流迹指导，LLMs生成的PoC代码在自动化验证通过后，仍有近三分之一无法真正触发漏洞，揭示了当前LLMs在漏洞利用生成中的根本性局限。
• 研究指出，LLMs在PoC生成中的错误（如CVE描述不相关、流迹选择错误或验证逻辑缺陷）会传播至整个系统，导致大量虚假阳性，而现有轻量级验证方法（如输出检查）无法可靠检测这些错误，需要更强的执行级验证手段。

🔍 CIPHER基准测试揭示了LLMs生成加密代码时的系统性漏洞，即使在明确安全提示下也难以可靠消除漏洞，突显了当前AI代码助手在安全领域的潜在风险。 – CIPHER: Cryptographic Insecurity Profiling via Hybrid Evaluation of Responses (http://arxiv.org/pdf/2602.01438v1.pdf)

• 研究发现，在使用大型语言模型生成加密代码时，即使采用明确的“安全”提示，也难以可靠地消除所有加密漏洞，漏洞发生率在71.7%至89.1%之间波动。
• 加密代码生成中的主要漏洞类型包括认证失败、密钥处理错误和随机性错误，这些漏洞在所有模型中普遍存在。安全提示仅能部分缓解特定漏洞，但无法显著降低整体漏洞率。
• 研究强调了当前大型语言模型在安全代码生成方面的局限性，即它们可能仅满足局部提示约束，而无法强制执行全局加密不变量，这可能导致即使在看似“安全”的提示下仍存在未被察觉的漏洞。

🔍 OD-CRL通过正交基优化和零空间降噪，解决了现有条件表征学习方法对LLM文本基和子空间正交性的依赖问题，实现高效且泛化能力强的表征提取。 – Refine and Purify: Orthogonal Basis Optimization with Null-Space Denoising for Conditional Representation Learning (http://arxiv.org/pdf/2602.05464v1.pdf)

• OD-CRL通过自适应正交基优化和零空间降噪投影，显著提升了条件表征学习的性能，尤其在颜色条件聚类任务中，准确率从12.23%提升至89.88%。
• AOBO利用SVD和曲率截断策略，从LLM生成的文本中构建正交语义基，有效消除冗余和歧义，增强表征的可分性。
• NSDP通过投影到噪声子空间的零空间，抑制了非目标语义干扰，尽管会损失部分目标语义，但降噪收益远大于损失，整体性能仍显著优于现有方法。

🤖 3D-Learning利用扩散模型构建分布鲁棒预测框架，显著提升预测-优化系统在分布外数据上的鲁棒性和性能平衡。 – 3D-Learning: Diffusion-Augmented Distributionally Robust Decision-Focused Learning (http://arxiv.org/pdf/2602.02943v1.pdf)

• 3D-Learning框架通过在扩散模型参数空间中搜索最坏情况分布，显著提升了预测-优化管道在分布外数据上的鲁棒性，平均和最坏情况性能均优于传统分布鲁棒优化方法。
• 在LLM资源分配任务中，3D-Learning在多个分布外测试数据集上表现出色，平均遗憾值比KL-DRO和W-DRO分别低37.4%和51.1%。在分布偏移最大的数据集上，其最坏情况性能也显著优于基线方法。
• 扩散模型的使用使得3D-Learning能够生成支持范围更广的样本，从而发现导致决策性能下降的最坏情况分布，同时通过约束得分匹配损失确保生成分布与训练数据一致，实现了平均性能和最坏情况性能的平衡。

🔍 Stream of Revision通过单次前向传递实现代码动态修正，显著提升生成代码的安全性与效率。 – Autoregressive, Yet Revisable: In Decoding Revision for Secure Code Generation (http://arxiv.org/pdf/2602.01187v1.pdf)

• Stream of Revision框架通过引入可回溯和编辑的历史令牌，使代码生成过程能够在单次前向传递中实现动态自我修正，显著减少了安全漏洞。
• 该方法在C和C++等目标语言上实现了与现有安全代码基线相当或更优的安全性，同时在跨语言零样本迁移中表现出色，证明了其语言无关的安全模式学习能力。
• 实验表明，Stream of Revision在保持代码功能的同时，大幅降低了计算开销。相较于后处理代理方法，其效率提升显著，尤其在长上下文任务中表现突出。

🤖 该研究提出了一种在训练前预测大型语言模型非预期行为的方法，通过操纵数据特征显著降低了计算成本。 – From Data to Behavior: Predicting Unintended Model Behaviors Before Training (http://arxiv.org/pdf/2602.04735v1.pdf)

• 研究发现，通过操纵数据特征方法，可以在训练前预测大型语言模型可能出现的非预期行为。该方法利用基础模型的隐藏状态表示来捕捉数据中的统计信号，从而揭示潜在的偏见和安全风险。
• 实验表明，MDF方法在预测偏见和安全风险方面表现可靠，且仅需约20%的GPU资源即可完成，显著低于全参数微调所需的计算成本，这为大规模模型训练提供了更高效的替代方案。
• 研究揭示了训练数据中的统计信号如何通过模型表示影响最终行为。这种机制分析表明，即使数据表面看似中性，也可能通过潜学习导致模型产生非预期的偏见或不安全行为，强调了数据级风险的重要性。

🚀 DR. KERNEL-14B通过强化学习生成的内核在KernelBench Level-2子集上实现了47.8%的1.2倍速度提升，显著超越了Claude-4.5-Sonnet和GPT-5。 – Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations (http://arxiv.org/pdf/2602.05885v1.pdf)

• DR. KERNEL-14B模型在KernelBench Level-2子集上生成的内核中，31.6%实现了至少1.2倍于Torch参考实现的速度提升，超过了Claude-4.5-Sonnet的26.7%和GPT-5的28.6%。
• 通过多轮强化学习方法，DR. KERNEL-14B模型在KernelBench Level-2子集上，选择所有轮次中的最佳候选内核时，1.2倍速度提升的比例进一步提高到47.8%，显著超越了对比模型。
• 研究发现，使用DR. KERNEL-14B模型结合测试时缩放后，在KernelBench Level-2子集上，1.2倍速度提升的比例达到31.6%，并在选择最佳候选时提升至47.8%，展示了模型在实际应用中的性能优势。

🤖 Agent Primitives 通过可重用的潜在构建块和关键值缓存通信，显著提升了多智能体系统的性能和效率。 – Agent Primitives: Reusable Latent Building Blocks for Multi-Agent Systems (http://arxiv.org/pdf/2602.03695v1.pdf)

• Agent Primitives 提出了一种可重用的潜在构建块，用于构建基于大型语言模型的多智能体系统，通过关键值缓存实现智能体间的高效通信，显著提高了系统的鲁棒性和效率。
• 实验表明，基于 Agent Primitives 的多智能体系统在数学推理、代码生成和问答等任务上，平均准确率比单智能体基线提升 12.0-16.5%，同时减少了约 3-4 倍的令牌使用量和推理延迟。
• 该方法通过将现有多智能体系统设计分解为重复的内部计算模式，并利用潜在通信机制，有效缓解了长上下文和多阶段交互中的信息退化问题，为构建可扩展的多智能体系统提供了基础。

🔍 该研究展示了如何利用SAEs和LLM摘要方法，从复杂多智能体强化学习训练中提取可解释的行为模式，并验证其在实际应用中的有效性。 – Data-Centric Interpretability for LLM-based Multi-Agent Reinforcement Learning (http://arxiv.org/pdf/2602.05183v1.pdf)

• 研究发现，通过应用稀疏自动编码器（SAEs）和大型语言模型（LLM）摘要方法，可以互补地分析复杂多智能体强化学习环境中的训练动态，揭示了包括角色扮演、语言切换和战略行为在内的细粒度行为模式。
• SAEs提取的特征被聚合为Meta-特征，形成可解释的假设，其中90%的Meta-特征被验证为显著相关，但用户研究显示，这些特征对人类用户在下游任务中的实用性有限，而部分特征在预测任务中表现出显著提升。
• 研究还发现，通过将SAEs生成的特征整合到未训练智能体的系统提示中，可以显著提升其表现，平均得分提高14.2%，证明了该框架在实际应用中的有效性。

🤖 RWML通过自监督学习显著提升了LLM代理的环境建模和决策能力，为代理在复杂任务中的表现提供了新途径。 – Reinforcement World Model Learning for LLM-based Agents (http://arxiv.org/pdf/2602.05842v1.pdf)

• RWML显著提升了基于LLM代理在复杂环境中的任务完成能力，无需专家数据或强LLM注释，在ALFWorld和τ2Bench基准测试中分别提高了19.6和7.9个百分点。
• 当与任务成功奖励结合时，RWML训练的代理在ALFWorld和τ2Bench上分别比直接任务成功奖励RL高出6.9和5.7个百分点，同时与使用专家数据训练的模型表现相当。
• RWML在减少模型遗忘方面优于世界模型SFT方法，在多个通用知识和STEM基准测试中表现出更好的知识保留能力。

🤖 COBALT通过离线轨迹和在线上下文老虎机学习，在代码生成任务中实现了高效训练和性能提升，同时通过扰动轨迹缓解了奖励黑客问题。 – Bridging Online and Offline RL: Contextual Bandit Learning for Multi-Turn Code Generation (http://arxiv.org/pdf/2602.03806v1.pdf)

• COBALT结合了在线和离线强化学习的优势，通过离线轨迹收集和在线上下文老虎机学习，在代码生成任务上显著提升了训练效率和模型性能。
• 在LiveCodeBench和TACO数据集上，COBALT使R1-Distill 8B和Qwen3 8B模型的Pass@1得分分别提高了9.0和6.2个百分点，超越了基于GRPO和VeRPO的在线多轮强化学习基线方法。
• 通过引入扰动轨迹，COBALT有效缓解了LLM的上下文奖励黑客行为，增强了模型在面对错误测试案例时的鲁棒性，但语义漂移问题仍需进一步研究解决。

🔍 AI生成的文献引用在顶级学术会议中未被同行评审发现，揭示了当前验证机制的失效。 – Compound Deception in Elite Peer Review: A Failure Mode Taxonomy of 100 Fabricated Citations at NeurIPS 2025 (http://arxiv.org/pdf/2602.05930v1.pdf)

• 论文分析了2025年NeurIPS会议中100个AI生成的虚构文献引用，发现这些引用在同行评审过程中未被发现，表明当前的同行评审机制在文献引用验证方面存在严重缺陷。
• 这些虚构引用主要表现为完全虚构（66%）、部分属性篡改（27%）和标识符劫持（4%），所有引用都采用了复合欺骗策略，即同时使用多种欺骗手段，如语义合理性、虚假可验证链接等，以逃避检测。
• 研究指出，AI生成的文献引用问题不仅限于学术会议，还出现在政府报告和专业咨询输出中，建议在论文提交阶段强制实施自动化文献引用验证，以防止虚构引用的泛滥。

🔍 通过利用LLM对有毒数据的记忆和内部动态，提出了一种无需知道触发器即可检测后门攻击的实用方法。 – The Trigger in the Haystack: Extracting and Reconstructing LLM Backdoor Triggers (http://arxiv.org/pdf/2602.03085v1.pdf)

• 研究发现，被植入后门的大型语言模型（LLM）倾向于记住训练数据中的有毒样本，这使得通过记忆提取技术泄露后门示例成为可能。
• 后门触发器的存在会导致模型的输出分布和注意力模式发生显著变化，例如触发器激活时模型输出熵降低，且触发器相关的注意力权重呈现独特的‘双三角’模式。
• 即使触发器发生微小变化（如模糊化），仍可能激活后门行为，这表明实际扫描中无需完全恢复触发器序列即可检测到后门模型。

近期AI安全周报索引

• AI安全周刊【2026-02-02】
• AI安全周刊【2026-01-26】
• AI安全周刊【2026-01-19】
• AI安全周刊【2026-01-12】
• AI安全周刊【2026-01-05】
• AI安全周刊【2025-12-29】
• AI安全周刊【2025-12-22】
• AI安全周刊【2025-12-15】
• AI安全周刊【2025-12-08】
• AI安全周刊【2025-12-01】
• AI安全周刊【2025-11-24】
• AI安全周刊【2025-11-17】
• AI安全周刊【2025-11-10】
• AI安全周刊【2025-11-03】
• AI安全周报【2025-10-27】
• AI安全周报【2025-10-20】
• AI安全周报【2025-10-13】
• AI安全周报【2025-10-06】
• AI安全周报【2025-09-26】
• AI安全周报【2025-09-19】
• AI安全周报【2025-09-12】

• AI安全周报【2025-09-05】

• 【2025-08-29】AI安全周报

• 【2025-08-22】AI安全周报
• 【2025-08-15】AI安全周报
• 【2025-08-08】AI安全周报
• 【2025-08-01】AI安全周报
• 【2025-07-25】AI安全周报
• 【2025-07-18】AI安全周报

关注“鲸栖”小程序，掌握最新AI资讯