AI安全新突破：揭秘LLMs新型攻击链与高效防御策略（一）

本周的研究聚焦于大型语言模型面临的新型攻击方式与创新防御策略。这些成果揭示了模型在文本布局、推理和生成过程中的固有弱点，展现了AI安全领域的最新进展。分析表明，当前攻击方法的成功率显著提升，而相应的防御技术也正朝着高效、实用和精细化的方向发展，这对构建更可靠、更安全的AI系统至关重要。

一、关键发现

1. 攻击手段愈发复杂隐蔽

攻击者开始采用多模态、多轮次的系统化手段，例如利用文本空间布局的弱点或通过诗歌等形式改写恶意指令，可使攻击成功率高达96%，令传统的提示过滤技术难以应对。同时，出现了如“提示软件攻击链”这类多阶段攻击模式，其过程类似于传统恶意软件，使得攻击行为更加复杂和隐蔽。

2. 防御技术走向高效实用与精细化

近期研究涌现出多种高效实用的防御方法。例如，SafeProbing能够实时探测模型内部的安全意识以提升防御能力，且不牺牲模型实用性；SUPERVISOR作为一种轻量级防御模块，通过环境与意图一致性检查，在低开销下大幅降低了攻击成功率。此外，防御技术正向精细化发展，如ToolSafe构建了细粒度的检测基准，对工具调用的安全性进行实时预判和反馈引导。

3. 框架级安全措施需求迫切

社交工程攻击对网络代理构成了巨大威胁，现有框架难以有效抵御，这表明LLM在网络代理等多领域存在显著安全风险。同时，模型在处理隐式恶意行为时防御效果有限，进一步凸显了从整体框架层面加强安全防护的必要性，企业需要构建更全面的安全体系。

二、详细论文解读

SafeProbing 通过实时探测LLMs内部的安全意识，提供了一种简单而有效的防御机制，能够在不牺牲模型实用性的情况下显著提升安全性。
– 论文：Defending Large Language Models Against Jailbreak Attacks via In-Decoding Safety-Awareness Probing (http://arxiv.org/pdf/2601.10543v1.pdf)
* 研究发现，大型语言模型在生成有害内容时，其内部存在潜在的安全意识，但这种意识常被模型对流畅生成内容的优先级所抑制，导致无法及时自我修正。
* SafeProbing方法通过在解码过程中实时探测这些隐藏的安全信号，显著提升了模型的安全防御能力，同时保持了较低的误拒率和较高的响应质量。
* 实验表明，SafeProbing在多种复杂的越狱攻击下均表现出色，防御成功率远超现有基线方法，且在保持模型通用能力方面表现优异。

提示软件攻击链 研究揭示了大型语言模型攻击的多阶段恶意软件特性，提出了“提示软件攻击链”框架，以系统化分析和防御新兴的AI安全威胁。
– 论文：The Promptware Kill Chain: How Prompt Injections Gradually Evolved Into a Multi-Step Malware (http://arxiv.org/pdf/2601.09625v1.pdf)
* 研究提出了“Promptware”这一新概念，将针对大型语言模型的攻击视为一种新型恶意软件，并构建了包含初始访问、权限提升、持久化、横向移动和最终行动五个阶段的“提示软件攻击链”模型。
* 该模型揭示了LLM攻击与传统恶意软件攻击的相似性，攻击者通过多阶段策略逐步实现从注入恶意指令到执行最终目标（如数据窃取、金融欺诈）的全过程。
* 研究强调现有安全框架对LLM攻击的防御不足，建议安全从业者采用结构化方法进行威胁建模，并呼吁AI安全与网络安全领域建立统一术语体系以应对这一新兴威胁。

SUPERVISOR 研究揭示了社交工程攻击在网络代理中的系统性风险，并提出了一种轻量级的一致性检查防御机制。
– 论文：When Bots Take the Bait: Exposing and Mitigating the Emerging Social Engineering Attack in Web Automation Agent (http://arxiv.org/pdf/2601.07263v1.pdf)
* 研究首次系统性揭示了大型语言模型驱动的网络代理在面对社交工程攻击时的高度脆弱性，平均攻击成功率达67.5%，表明现有框架即使配备安全提示也难以抵御此类攻击。
* 研究提出的SUPERVISOR轻量级防御模块通过环境与意图一致性检查，在不显著增加运行开销（仅7.7%）的前提下，将攻击成功率平均降低78.1%，显著提升了网络代理的安全性。
* 研究发现，网络代理在处理社交工程攻击时主要依赖LLM的内在安全机制，但这些机制对隐式恶意行为（如权限滥用）的防御效果有限，突显了框架级安全措施的必要性。

ToolSafe 研究提出了一种基于细粒度安全检测和反馈机制的代理安全框架，显著提升了LLM代理在复杂环境中的安全性和实用性。
– 论文：ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback (http://arxiv.org/pdf/2601.10156v1.pdf)
* 研究构建了TS-Bench基准，这是首个针对LLM代理工具调用安全性的细粒度检测基准，覆盖了四种常见的工具调用风险模式。
* TS-Guard模型通过多任务强化学习实现了对工具调用安全性的实时预判，能够在执行前识别有害用户请求、攻击关联性以及工具调用的潜在风险，显著减少了攻击成功率。
* TS-Flow框架通过提供预执行反馈，引导代理进行安全工具调用推理，平均将有害工具调用减少了65%，同时在对抗注入攻击时提升了良性任务完成率约10%。

三、其他前沿研究

• SpatialJB：通过利用文本空间布局的弱点，突破了当前LLM的防护机制，攻击成功率高达96%。
  • SpatialJB: How Text Distribution Art Becomes the “Jailbreak Key” for LLM Guardrails (http://arxiv.org/pdf/2601.09321v1.pdf)
• 该研究通过揭示安全与效用梯度的几何冲突，提出了一种高效的安全保护微调方法，能够在保持模型效用的同时显著提升其安全性。
  • Understanding and Preserving Safety in Fine-Tuned LLMs (http://arxiv.org/pdf/2601.10141v1.pdf)
• 该研究通过揭示LLMs内部道德表示的可操控性，提出了一种基于道德向量的新型安全干预机制。
  • The Straight and Narrow: Do LLMs Possess an Internal Moral Path? (http://arxiv.org/pdf/2601.10307v1.pdf)
• 该研究通过自强化学习框架实现了LLM的自主安全对齐，显著提升了模型抵御新型攻击的能力。
  • Be Your Own Red Teamer: Safety Alignment via Self-Play and Reflective Experience Replay (http://arxiv.org/pdf/2601.10589v1.pdf)
• YaPO 为细粒度的大语言模型对齐提供了一种稀疏的、偏好优化的引导方法，增强了在各种任务中的可解释性和稳定性。
  • YaPO: Learnable Sparse Activation Steering Vectors for Domain Adaptation (http://arxiv.org/pdf/2601.08441v1.pdf)
• 研究揭示了大型语言模型在普通文本提示下可能产生过长输出的现象及其缓解方法，强调了长度控制对资源效率和系统可靠性的重要性。
  • BenchOverflow: Measuring Overflow in Large Language Models via Plain-Text Prompts (http://arxiv.org/pdf/2601.08490v1.pdf)
• PAA攻击揭示了LLM-as-a-Reviewer系统通过语义保留改写操纵评分的脆弱性，同时提出基于困惑度的检测和改写防御方法。
  • Paraphrasing Adversarial Attack on LLM-as-a-Reviewer (http://arxiv.org/pdf/2601.06884v1.pdf)
• 论文揭示了当前LLM安全防御机制的三大表面偏置问题，导致安全输入被错误拒绝。
  • Defenses Against Prompt Attacks Learn Surface Heuristics (http://arxiv.org/pdf/2601.07185v1.pdf)
• CyberOps-Bots框架通过LLM与RL协同，实现云网络在动态环境中的鲁棒防御与人类专家协作。
  • Enhancing Cloud Network Resilience via a Robust LLM-Empowered Multi-Agent Reinforcement Learning Framework (http://arxiv.org/pdf/2601.07122v1.pdf)
• 系统性分析医疗LLM隐私风险，提出分阶段防御策略。
  • SoK: Privacy-aware LLM in Healthcare: Threat Model, Privacy Techniques, Challenges and Recommendations (http://arxiv.org/pdf/2601.10004v1.pdf)
• KryptoPilot通过开放世界知识增强和治理机制，实现了密码学CTF挑战的自动化高效解决。
  • KryptoPilot: An Open-World Knowledge-Augmented LLM Agent for Automated Cryptographic Exploitation (http://arxiv.org/pdf/2601.09129v1.pdf)
• ReasAlign通过推理增强的安全对齐技术，在防御提示注入攻击的同时保持了高实用性，为大型语言模型的安全应用提供了新方案。
  • ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack (http://arxiv.org/pdf/2601.10173v1.pdf)
• 研究发现大型语言模型易受推理劫持攻击，通过注入虚假决策标准操纵模型判断，绕过现有安全防御。
  • Reasoning Hijacking: Subverting LLM Classification via Decision-Criteria Injection (http://arxiv.org/pdf/2601.10294v1.pdf)
• CHASE通过多代理架构实现了高可靠性恶意包检测，为AI安全分析提供了实用框架。
  • CHASE: LLM Agents for Dissecting Malicious PyPI Packages (http://arxiv.org/pdf/2601.06838v1.pdf)
• 研究揭示了检索增强语言模型系统中的间接提示注入漏洞，通过优化触发片段实现高成功率攻击，威胁广泛存在于检索增强系统中。
  • Overcoming the Retrieval Barrier: Indirect Prompt Injection in the Wild for LLM Systems (http://arxiv.org/pdf/2601.07072v1.pdf)
• STAR框架通过分析状态转换放大比，高效且准确地检测LLM推理过程中的后门攻击。
  • STAR: Detecting Inference-time Backdoors in LLM Reasoning via State-Transition Amplification Ratio (http://arxiv.org/pdf/2601.08511v1.pdf)
• 通过案例增强推理，CADA 方法在保持模型有用性的同时显著提升了其安全性。
  • Reasoning over Precedents Alongside Statutes: Case-Augmented Deliberative Alignment for LLM Safety (http://arxiv.org/pdf/2601.08000v1.pdf)
• 该研究展示了如何通过指令微调、合成数据生成和图结构增强，提升Gemma-2B在网络安全领域的任务表现和推理能力。
  • CyberLLM-FINDS 2025: Instruction-Tuned Fine-tuning of Domain-Specific LLMs with Retrieval-Augmented Generation and Graph Integration for MITRE Evaluation (http://arxiv.org/pdf/2601.06779v1.pdf)
• 该研究通过构建对抗性数据集评估了大型语言模型在在线咨询培训中的角色一致性，发现模型在标准场景下表现良好，但在对抗性输入下存在明显不稳定，并提出了量化技术对模型性能的优化作用。
  • Evaluating Role-Consistency in LLMs for Counselor Training (http://arxiv.org/pdf/2601.08892v1.pdf)
• MCP-ITP首次提出并实现了针对MCP生态系统的隐式工具投毒自动化框架，显著提升了攻击成功率并降低了检测率。
  • MCP-ITP: An Automated Framework for Implicit Tool Poisoning in MCP (http://arxiv.org/pdf/2601.07395v1.pdf)
• SecureCAI通过集成安全意识宪法原则与动态进化机制，实现了在高对抗性环境下的LLM安全防护与任务性能的双重保障。
  • SecureCAI: Injection-Resilient LLM Assistants for Cybersecurity Operations (http://arxiv.org/pdf/2601.07835v1.pdf)
• PenForge通过动态构建专家代理实现了自动化渗透测试的重大突破，显著提升了零日漏洞利用的成功率。
  • PenForge: On-the-Fly Expert Agent Construction for Automated Penetration Testing (http://arxiv.org/pdf/2601.06910v1.pdf)
• 揭示联邦大语言模型的安全漏洞并提出轻量级防御框架，实现高效恶意客户端过滤。
  • Safe-FedLLM: Delving into the Safety of Federated Large Language Models (http://arxiv.org/pdf/2601.07177v1.pdf)
• AI代理技能存在高比例安全漏洞，亟需强制安全审查和执行沙盒机制。
  • Agent Skills in the Wild: An Empirical Study of Security Vulnerabilities at Scale (http://arxiv.org/pdf/2601.10338v1.pdf)
• 该研究展示了如何利用大型语言模型和策略导向的推理框架来增强说服性文本检测的准确性和可解释性。
  • Detecting Winning Arguments with Large Language Models and Persuasion Strategies (http://arxiv.org/pdf/2601.10660v1.pdf)
• DNF提出了一种双层嵌套指纹技术，通过结合风格和语义触发器，在保持模型性能的同时增强了大语言模型的隐蔽性和鲁棒性。
  • DNF: Dual-Layer Nested Fingerprinting for Large Language Model Intellectual Property Protection (http://arxiv.org/pdf/2601.08223v1.pdf)
• 该研究揭示了开源函数调用代理模型的安全隐患，并评估了现有防御机制的局限性，强调了开发更专门化安全措施的必要性。
  • Blue Teaming Function-Calling Agents (http://arxiv.org/pdf/2601.09292v1.pdf)
• PROTEA通过创新的安全评估机制，显著提升了机器人任务规划的安全性和鲁棒性。
  • PROTEA: Securing Robot Task Planning and Execution (http://arxiv.org/pdf/2601.07186v1.pdf)
• STaR框架通过动态干预和多维度评估，为大型推理模型提供了全面的隐私保护机制。
  • STaR: Sensitive Trajectory Regulation for Unlearning in Large Reasoning Models (http://arxiv.org/pdf/2601.09281v1.pdf)
• 该研究证明了大型语言模型在代码漏洞分析中的潜力，揭示了微调策略的优势，并指出了现有评估指标的局限性。
  • LLMs in Code Vulnerability Analysis: A Proof of Concept (http://arxiv.org/pdf/2601.08691v1.pdf)
• Zer0n通过结合AI推理与区块链技术，为漏洞发现提供了可验证的完整性保障。
  • Zer0n: An AI-Assisted Vulnerability Discovery and Blockchain-Backed Integrity Framework (http://arxiv.org/pdf/2601.07019v1.pdf)
• 该研究通过原子任务分解与融合算法，显著提升了大语言模型在智能合约重入性漏洞检测中的准确率和泛化能力。
  • Towards Compositional Generalization in LLMs for Smart Contract Security: A Case Study on Reentrancy Vulnerabilities (http://arxiv.org/pdf/2601.06914v1.pdf)
• 大语言模型评判者更看重自身的内部知识，而非所提供的参考资料，这削弱了问答评估的可靠性。
  • Judging Against the Reference: Uncovering Knowledge-Driven Failures in LLM-Judges on QA Evaluation (http://arxiv.org/pdf/2601.07506v1.pdf)
• 对抗性测试暴露了安全代码生成方法的脆弱性，静态分析高估安全率，联合评估揭示真实安全与功能率低至3-17%。
  • How Secure is Secure Code Generation? Adversarial Prompts Put LLM Defenses to the Test (http://arxiv.org/pdf/2601.07084v1.pdf)
• 表情符号与代码语法的混淆揭示了大型语言模型在安全交互中的潜在缺陷，可能导致数据丢失和系统破坏。
  • Small Symbols, Big Risks: Exploring Emoticon Semantic Confusion in Large Language Models (http://arxiv.org/pdf/2601.07885v1.pdf)
• 该研究揭示了用户如何检测、应对并评价AI的奉承行为，强调了其在不同情境下的双重影响，既有潜在风险也有情感支持价值。
  • AI Sycophancy: How Users Flag and Respond (http://arxiv.org/pdf/2601.10467v1.pdf)
• ActiShade通过迭代检测和利用被忽略的知识，显著提升了大型语言模型在多跳推理任务中的准确性和效率。
  • ActiShade: Activating Overshadowed Knowledge to Guide Multi-Hop Reasoning in Large Language Models (http://arxiv.org/pdf/2601.07260v1.pdf)
• 该研究揭示了当前前沿AI模型在安全性能上的高度异质性，强调标准化多维度评估对真实风险判断的重要性。
  • A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5 (http://arxiv.org/pdf/2601.10527v1.pdf)
• 基于大型语言模型（LLM）的对话式人工智能可能会通过 “诚实的非信号” 绕过人类的认知警觉，这种方式无需欺骗就能引发不加批判的信任。
  • The AI Cognitive Trojan Horse: How Large Language Models May Bypass Human Epistemic Vigilance (http://arxiv.org/pdf/2601.07085v1.pdf)
• TRIM通过在多步推理任务中仅对关键步骤进行路由，显著提高了推理效率并降低了成本。
  • TRIM: Hybrid Inference via Targeted Stepwise Routing in Multi-Step Reasoning Tasks (http://arxiv.org/pdf/2601.10245v1.pdf)
• AWED-FiNER 是一个覆盖36种语言的细粒度命名实体识别开源生态系统，为低资源语言提供高效且可扩展的解决方案。
  • AWED-FiNER: Agents, Web applications, and Expert Detectors for Fine-grained Named Entity Recognition across 36 Languages for 6.6 Billion Speakers (http://arxiv.org/pdf/2601.10161v1.pdf)
• 该研究展示了大型语言模型在恶意软件检测中的潜力，但强调了持续微调和领域适应的重要性。
  • A Decompilation-Driven Framework for Malware Detection with Large Language Models (http://arxiv.org/pdf/2601.09035v1.pdf)
• LLMs通过主动解析网络威胁情报，显著提升了企业对恶意指标的检测能力，但仍需优化模型以减少误报。
  • Proactively Detecting Threats: A Novel Approach Using LLMs (http://arxiv.org/pdf/2601.09029v1.pdf)
• 研究揭示了模型架构、数据多样性和训练策略对LLMs泛化能力的协同影响，为构建可靠AI系统提供了关键见解。
  • Diagnosing Generalization Failures in Fine-Tuned LLMs: A Cross-Architectural Study on Phishing Detection (http://arxiv.org/pdf/2601.10524v1.pdf)
• D2PLAN 通过使用双智能体来动态规划查询并过滤无关信息，增强了大语言模型（LLM）的推理能力，从而实现更准确、更稳健的问答。
  • D2Plan: Dual-Agent Dynamic Global Planning for Complex Retrieval-Augmented Reasoning (http://arxiv.org/pdf/2601.08282v1.pdf)
• Tree-Query通过多专家树状查询和对抗性置信估计，实现了透明、可解释且置信度高的因果发现。
  • Step-by-Step Causality: Transparent Causal Discovery with Multi-Agent Tree-Query and Adversarial Confidence Estimation (http://arxiv.org/pdf/2601.10137v1.pdf)

延伸阅读

• 国内外大模型安全技术框架汇总
• 2024 年大模型十大安全事件
• 大模型安全开源项目汇编
• 微软Agent ID：AI智能体的“电子身份证”，安全治理进入新纪元！
• 198篇研究综述拆解大模型安全：API被盗亏百万，4 大场景藏漏洞
• HTML藏刀！八种隐形手法操控AI总结
• 把防火墙塞进 LLM？LLMZ+用白名单逻辑守代理型LLM，金融场景已跑通

• 补全大模型安全最后一块拼图！PromptLocate精准定位提示注入中的恶意内容！

• IBM 最新研究曝光！网络安全小模型碾压 GPT-4o，CyberPal挑战闭源模型登顶

• 勒索软件杀到3.0时代：LLM当全自动攻击指挥官，传统杀毒软件直接失灵
• 2025AI合规“超级年”：15份法规标准织密安全网，企业落地必看指南

近期AI安全动态回顾：
* AI安全周刊【2026-01-12】
* AI安全周刊【2026-01-05】
* AI安全周刊【2025-12-29】
* AI安全周刊【2025-12-22】
* AI安全周刊【2025-12-15】
* AI安全周刊【2025-12-08】
* AI安全周刊【2025-12-01】
* AI安全周刊【2025-11-24】
* AI安全周刊【2025-11-17】
* AI安全周刊【2025-11-10】
* AI安全周刊【2025-11-03】
* AI安全周报【2025-10-27】
* AI安全周报【2025-10-20】
* AI安全周报【2025-10-13】
* AI安全周报【2025-10-06】
* AI安全周报【2025-09-26】
* AI安全周报【2025-09-19】
* AI安全周报【2025-09-12】
* AI安全周报【2025-09-05】

• 【2025-08-29】AI安全周报
• 【2025-08-22】AI安全周报
• 【2025-08-15】AI安全周报
• 【2025-08-08】AI安全周报
• 【2025-08-01】AI安全周报
• 【2025-07-25】AI安全周报
• 【2025-07-18】AI安全周报

关注“鲸栖”小程序，掌握最新AI资讯