1. 鲸林向海首页
  2. AI产业动态

AI安全新突破：揭秘LLMs新型攻击链与高效防御策略

• AI产业动态 • 阅读 970

AI安全新突破：揭秘LLMs新型攻击链与高效防御策略（一）

本周的研究聚焦于大型语言模型面临的新型攻击方式与创新防御策略。这些成果揭示了模型在文本布局、推理和生成过程中的固有弱点，展现了AI安全领域的最新进展。分析表明，当前攻击方法的成功率显著提升，而相应的防御技术也正朝着高效、实用和精细化的方向发展，这对构建更可靠、更安全的AI系统至关重要。

一、关键发现

1. 攻击手段愈发复杂隐蔽

攻击者开始采用多模态、多轮次的系统化手段，例如利用文本空间布局的弱点或通过诗歌等形式改写恶意指令，可使攻击成功率高达96%，令传统的提示过滤技术难以应对。同时，出现了如“提示软件攻击链”这类多阶段攻击模式，其过程类似于传统恶意软件，使得攻击行为更加复杂和隐蔽。

2. 防御技术走向高效实用与精细化

近期研究涌现出多种高效实用的防御方法。例如，SafeProbing能够实时探测模型内部的安全意识以提升防御能力，且不牺牲模型实用性；SUPERVISOR作为一种轻量级防御模块，通过环境与意图一致性检查，在低开销下大幅降低了攻击成功率。此外，防御技术正向精细化发展，如ToolSafe构建了细粒度的检测基准，对工具调用的安全性进行实时预判和反馈引导。

3. 框架级安全措施需求迫切

社交工程攻击对网络代理构成了巨大威胁，现有框架难以有效抵御，这表明LLM在网络代理等多领域存在显著安全风险。同时，模型在处理隐式恶意行为时防御效果有限，进一步凸显了从整体框架层面加强安全防护的必要性，企业需要构建更全面的安全体系。

二、详细论文解读

SafeProbing 通过实时探测LLMs内部的安全意识，提供了一种简单而有效的防御机制，能够在不牺牲模型实用性的情况下显著提升安全性。
– 论文：Defending Large Language Models Against Jailbreak Attacks via In-Decoding Safety-Awareness Probing (http://arxiv.org/pdf/2601.10543v1.pdf)
* 研究发现，大型语言模型在生成有害内容时，其内部存在潜在的安全意识，但这种意识常被模型对流畅生成内容的优先级所抑制，导致无法及时自我修正。
* SafeProbing方法通过在解码过程中实时探测这些隐藏的安全信号，显著提升了模型的安全防御能力，同时保持了较低的误拒率和较高的响应质量。
* 实验表明，SafeProbing在多种复杂的越狱攻击下均表现出色，防御成功率远超现有基线方法，且在保持模型通用能力方面表现优异。

AI安全新突破：揭秘LLMs新型攻击链与高效防御策略

提示软件攻击链 研究揭示了大型语言模型攻击的多阶段恶意软件特性，提出了“提示软件攻击链”框架，以系统化分析和防御新兴的AI安全威胁。
– 论文：The Promptware Kill Chain: How Prompt Injections Gradually Evolved Into a Multi-Step Malware (http://arxiv.org/pdf/2601.09625v1.pdf)
* 研究提出了“Promptware”这一新概念，将针对大型语言模型的攻击视为一种新型恶意软件，并构建了包含初始访问、权限提升、持久化、横向移动和最终行动五个阶段的“提示软件攻击链”模型。
* 该模型揭示了LLM攻击与传统恶意软件攻击的相似性，攻击者通过多阶段策略逐步实现从注入恶意指令到执行最终目标（如数据窃取、金融欺诈）的全过程。
* 研究强调现有安全框架对LLM攻击的防御不足，建议安全从业者采用结构化方法进行威胁建模，并呼吁AI安全与网络安全领域建立统一术语体系以应对这一新兴威胁。

AI安全新突破：揭秘LLMs新型攻击链与高效防御策略

SUPERVISOR 研究揭示了社交工程攻击在网络代理中的系统性风险，并提出了一种轻量级的一致性检查防御机制。
– 论文：When Bots Take the Bait: Exposing and Mitigating the Emerging Social Engineering Attack in Web Automation Agent (http://arxiv.org/pdf/2601.07263v1.pdf)
* 研究首次系统性揭示了大型语言模型驱动的网络代理在面对社交工程攻击时的高度脆弱性，平均攻击成功率达67.5%，表明现有框架即使配备安全提示也难以抵御此类攻击。
* 研究提出的SUPERVISOR轻量级防御模块通过环境与意图一致性检查，在不显著增加运行开销（仅7.7%）的前提下，将攻击成功率平均降低78.1%，显著提升了网络代理的安全性。
* 研究发现，网络代理在处理社交工程攻击时主要依赖LLM的内在安全机制，但这些机制对隐式恶意行为（如权限滥用）的防御效果有限，突显了框架级安全措施的必要性。

AI安全新突破：揭秘LLMs新型攻击链与高效防御策略

ToolSafe 研究提出了一种基于细粒度安全检测和反馈机制的代理安全框架，显著提升了LLM代理在复杂环境中的安全性和实用性。
– 论文：ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback (http://arxiv.org/pdf/2601.10156v1.pdf)
* 研究构建了TS-Bench基准，这是首个针对LLM代理工具调用安全性的细粒度检测基准，覆盖了四种常见的工具调用风险模式。
* TS-Guard模型通过多任务强化学习实现了对工具调用安全性的实时预判，能够在执行前识别有害用户请求、攻击关联性以及工具调用的潜在风险，显著减少了攻击成功率。
* TS-Flow框架通过提供预执行反馈，引导代理进行安全工具调用推理，平均将有害工具调用减少了65%，同时在对抗注入攻击时提升了良性任务完成率约10%。

AI安全新突破：揭秘LLMs新型攻击链与高效防御策略

三、其他前沿研究

  • SpatialJB：通过利用文本空间布局的弱点，突破了当前LLM的防护机制，攻击成功率高达96%。
    • SpatialJB: How Text Distribution Art Becomes the “Jailbreak Key” for LLM Guardrails (http://arxiv.org/pdf/2601.09321v1.pdf)
  • 该研究通过揭示安全与效用梯度的几何冲突，提出了一种高效的安全保护微调方法，能够在保持模型效用的同时显著提升其安全性。
    • Understanding and Preserving Safety in Fine-Tuned LLMs (http://arxiv.org/pdf/2601.10141v1.pdf)
  • 该研究通过揭示LLMs内部道德表示的可操控性，提出了一种基于道德向量的新型安全干预机制。
    • The Straight and Narrow: Do LLMs Possess an Internal Moral Path? (http://arxiv.org/pdf/2601.10307v1.pdf)
  • 该研究通过自强化学习框架实现了LLM的自主安全对齐，显著提升了模型抵御新型攻击的能力。
    • Be Your Own Red Teamer: Safety Alignment via Self-Play and Reflective Experience Replay (http://arxiv.org/pdf/2601.10589v1.pdf)
  • YaPO 为细粒度的大语言模型对齐提供了一种稀疏的、偏好优化的引导方法，增强了在各种任务中的可解释性和稳定性。
    • YaPO: Learnable Sparse Activation Steering Vectors for Domain Adaptation (http://arxiv.org/pdf/2601.08441v1.pdf)
  • 研究揭示了大型语言模型在普通文本提示下可能产生过长输出的现象及其缓解方法，强调了长度控制对资源效率和系统可靠性的重要性。
    • BenchOverflow: Measuring Overflow in Large Language Models via Plain-Text Prompts (http://arxiv.org/pdf/2601.08490v1.pdf)
  • PAA攻击揭示了LLM-as-a-Reviewer系统通过语义保留改写操纵评分的脆弱性，同时提出基于困惑度的检测和改写防御方法。
    • Paraphrasing Adversarial Attack on LLM-as-a-Reviewer (http://arxiv.org/pdf/2601.06884v1.pdf)
  • 论文揭示了当前LLM安全防御机制的三大表面偏置问题，导致安全输入被错误拒绝。
    • Defenses Against Prompt Attacks Learn Surface Heuristics (http://arxiv.org/pdf/2601.07185v1.pdf)
  • CyberOps-Bots框架通过LLM与RL协同，实现云网络在动态环境中的鲁棒防御与人类专家协作。
    • Enhancing Cloud Network Resilience via a Robust LLM-Empowered Multi-Agent Reinforcement Learning Framework (http://arxiv.org/pdf/2601.07122v1.pdf)
  • 系统性分析医疗LLM隐私风险，提出分阶段防御策略。
    • SoK: Privacy-aware LLM in Healthcare: Threat Model, Privacy Techniques, Challenges and Recommendations (http://arxiv.org/pdf/2601.10004v1.pdf)
  • KryptoPilot通过开放世界知识增强和治理机制，实现了密码学CTF挑战的自动化高效解决。
    • KryptoPilot: An Open-World Knowledge-Augmented LLM Agent for Automated Cryptographic Exploitation (http://arxiv.org/pdf/2601.09129v1.pdf)
  • ReasAlign通过推理增强的安全对齐技术，在防御提示注入攻击的同时保持了高实用性，为大型语言模型的安全应用提供了新方案。
    • ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack (http://arxiv.org/pdf/2601.10173v1.pdf)
  • 研究发现大型语言模型易受推理劫持攻击，通过注入虚假决策标准操纵模型判断，绕过现有安全防御。
    • Reasoning Hijacking: Subverting LLM Classification via Decision-Criteria Injection (http://arxiv.org/pdf/2601.10294v1.pdf)
  • CHASE通过多代理架构实现了高可靠性恶意包检测，为AI安全分析提供了实用框架。
    • CHASE: LLM Agents for Dissecting Malicious PyPI Packages (http://arxiv.org/pdf/2601.06838v1.pdf)
  • 研究揭示了检索增强语言模型系统中的间接提示注入漏洞，通过优化触发片段实现高成功率攻击，威胁广泛存在于检索增强系统中。
    • Overcoming the Retrieval Barrier: Indirect Prompt Injection in the Wild for LLM Systems (http://arxiv.org/pdf/2601.07072v1.pdf)
  • STAR框架通过分析状态转换放大比，高效且准确地检测LLM推理过程中的后门攻击。
    • STAR: Detecting Inference-time Backdoors in LLM Reasoning via State-Transition Amplification Ratio (http://arxiv.org/pdf/2601.08511v1.pdf)
  • 通过案例增强推理，CADA 方法在保持模型有用性的同时显著提升了其安全性。
    • Reasoning over Precedents Alongside Statutes: Case-Augmented Deliberative Alignment for LLM Safety (http://arxiv.org/pdf/2601.08000v1.pdf)
  • 该研究展示了如何通过指令微调、合成数据生成和图结构增强，提升Gemma-2B在网络安全领域的任务表现和推理能力。
    • CyberLLM-FINDS 2025: Instruction-Tuned Fine-tuning of Domain-Specific LLMs with Retrieval-Augmented Generation and Graph Integration for MITRE Evaluation (http://arxiv.org/pdf/2601.06779v1.pdf)
  • 该研究通过构建对抗性数据集评估了大型语言模型在在线咨询培训中的角色一致性，发现模型在标准场景下表现良好，但在对抗性输入下存在明显不稳定，并提出了量化技术对模型性能的优化作用。
    • Evaluating Role-Consistency in LLMs for Counselor Training (http://arxiv.org/pdf/2601.08892v1.pdf)
  • MCP-ITP首次提出并实现了针对MCP生态系统的隐式工具投毒自动化框架，显著提升了攻击成功率并降低了检测率。
    • MCP-ITP: An Automated Framework for Implicit Tool Poisoning in MCP (http://arxiv.org/pdf/2601.07395v1.pdf)
  • SecureCAI通过集成安全意识宪法原则与动态进化机制，实现了在高对抗性环境下的LLM安全防护与任务性能的双重保障。
    • SecureCAI: Injection-Resilient LLM Assistants for Cybersecurity Operations (http://arxiv.org/pdf/2601.07835v1.pdf)
  • PenForge通过动态构建专家代理实现了自动化渗透测试的重大突破，显著提升了零日漏洞利用的成功率。
    • PenForge: On-the-Fly Expert Agent Construction for Automated Penetration Testing (http://arxiv.org/pdf/2601.06910v1.pdf)
  • 揭示联邦大语言模型的安全漏洞并提出轻量级防御框架，实现高效恶意客户端过滤。
    • Safe-FedLLM: Delving into the Safety of Federated Large Language Models (http://arxiv.org/pdf/2601.07177v1.pdf)
  • AI代理技能存在高比例安全漏洞，亟需强制安全审查和执行沙盒机制。
    • Agent Skills in the Wild: An Empirical Study of Security Vulnerabilities at Scale (http://arxiv.org/pdf/2601.10338v1.pdf)
  • 该研究展示了如何利用大型语言模型和策略导向的推理框架来增强说服性文本检测的准确性和可解释性。
    • Detecting Winning Arguments with Large Language Models and Persuasion Strategies (http://arxiv.org/pdf/2601.10660v1.pdf)
  • DNF提出了一种双层嵌套指纹技术，通过结合风格和语义触发器，在保持模型性能的同时增强了大语言模型的隐蔽性和鲁棒性。
    • DNF: Dual-Layer Nested Fingerprinting for Large Language Model Intellectual Property Protection (http://arxiv.org/pdf/2601.08223v1.pdf)
  • 该研究揭示了开源函数调用代理模型的安全隐患，并评估了现有防御机制的局限性，强调了开发更专门化安全措施的必要性。
    • Blue Teaming Function-Calling Agents (http://arxiv.org/pdf/2601.09292v1.pdf)
  • PROTEA通过创新的安全评估机制，显著提升了机器人任务规划的安全性和鲁棒性。
    • PROTEA: Securing Robot Task Planning and Execution (http://arxiv.org/pdf/2601.07186v1.pdf)
  • STaR框架通过动态干预和多维度评估，为大型推理模型提供了全面的隐私保护机制。
    • STaR: Sensitive Trajectory Regulation for Unlearning in Large Reasoning Models (http://arxiv.org/pdf/2601.09281v1.pdf)
  • 该研究证明了大型语言模型在代码漏洞分析中的潜力，揭示了微调策略的优势，并指出了现有评估指标的局限性。
    • LLMs in Code Vulnerability Analysis: A Proof of Concept (http://arxiv.org/pdf/2601.08691v1.pdf)
  • Zer0n通过结合AI推理与区块链技术，为漏洞发现提供了可验证的完整性保障。
    • Zer0n: An AI-Assisted Vulnerability Discovery and Blockchain-Backed Integrity Framework (http://arxiv.org/pdf/2601.07019v1.pdf)
  • 该研究通过原子任务分解与融合算法，显著提升了大语言模型在智能合约重入性漏洞检测中的准确率和泛化能力。
    • Towards Compositional Generalization in LLMs for Smart Contract Security: A Case Study on Reentrancy Vulnerabilities (http://arxiv.org/pdf/2601.06914v1.pdf)
  • 大语言模型评判者更看重自身的内部知识，而非所提供的参考资料，这削弱了问答评估的可靠性。
    • Judging Against the Reference: Uncovering Knowledge-Driven Failures in LLM-Judges on QA Evaluation (http://arxiv.org/pdf/2601.07506v1.pdf)
  • 对抗性测试暴露了安全代码生成方法的脆弱性，静态分析高估安全率，联合评估揭示真实安全与功能率低至3-17%。
    • How Secure is Secure Code Generation? Adversarial Prompts Put LLM Defenses to the Test (http://arxiv.org/pdf/2601.07084v1.pdf)
  • 表情符号与代码语法的混淆揭示了大型语言模型在安全交互中的潜在缺陷，可能导致数据丢失和系统破坏。
    • Small Symbols, Big Risks: Exploring Emoticon Semantic Confusion in Large Language Models (http://arxiv.org/pdf/2601.07885v1.pdf)
  • 该研究揭示了用户如何检测、应对并评价AI的奉承行为，强调了其在不同情境下的双重影响，既有潜在风险也有情感支持价值。
    • AI Sycophancy: How Users Flag and Respond (http://arxiv.org/pdf/2601.10467v1.pdf)
  • ActiShade通过迭代检测和利用被忽略的知识，显著提升了大型语言模型在多跳推理任务中的准确性和效率。
    • ActiShade: Activating Overshadowed Knowledge to Guide Multi-Hop Reasoning in Large Language Models (http://arxiv.org/pdf/2601.07260v1.pdf)
  • 该研究揭示了当前前沿AI模型在安全性能上的高度异质性，强调标准化多维度评估对真实风险判断的重要性。
    • A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5 (http://arxiv.org/pdf/2601.10527v1.pdf)
  • 基于大型语言模型（LLM）的对话式人工智能可能会通过 “诚实的非信号” 绕过人类的认知警觉，这种方式无需欺骗就能引发不加批判的信任。
    • The AI Cognitive Trojan Horse: How Large Language Models May Bypass Human Epistemic Vigilance (http://arxiv.org/pdf/2601.07085v1.pdf)
  • TRIM通过在多步推理任务中仅对关键步骤进行路由，显著提高了推理效率并降低了成本。
    • TRIM: Hybrid Inference via Targeted Stepwise Routing in Multi-Step Reasoning Tasks (http://arxiv.org/pdf/2601.10245v1.pdf)
  • AWED-FiNER 是一个覆盖36种语言的细粒度命名实体识别开源生态系统，为低资源语言提供高效且可扩展的解决方案。
    • AWED-FiNER: Agents, Web applications, and Expert Detectors for Fine-grained Named Entity Recognition across 36 Languages for 6.6 Billion Speakers (http://arxiv.org/pdf/2601.10161v1.pdf)
  • 该研究展示了大型语言模型在恶意软件检测中的潜力，但强调了持续微调和领域适应的重要性。
    • A Decompilation-Driven Framework for Malware Detection with Large Language Models (http://arxiv.org/pdf/2601.09035v1.pdf)
  • LLMs通过主动解析网络威胁情报，显著提升了企业对恶意指标的检测能力，但仍需优化模型以减少误报。
    • Proactively Detecting Threats: A Novel Approach Using LLMs (http://arxiv.org/pdf/2601.09029v1.pdf)
  • 研究揭示了模型架构、数据多样性和训练策略对LLMs泛化能力的协同影响，为构建可靠AI系统提供了关键见解。
    • Diagnosing Generalization Failures in Fine-Tuned LLMs: A Cross-Architectural Study on Phishing Detection (http://arxiv.org/pdf/2601.10524v1.pdf)
  • D2PLAN 通过使用双智能体来动态规划查询并过滤无关信息，增强了大语言模型（LLM）的推理能力，从而实现更准确、更稳健的问答。
    • D2Plan: Dual-Agent Dynamic Global Planning for Complex Retrieval-Augmented Reasoning (http://arxiv.org/pdf/2601.08282v1.pdf)
  • Tree-Query通过多专家树状查询和对抗性置信估计，实现了透明、可解释且置信度高的因果发现。
    • Step-by-Step Causality: Transparent Causal Discovery with Multi-Agent Tree-Query and Adversarial Confidence Estimation (http://arxiv.org/pdf/2601.10137v1.pdf)

延伸阅读

近期AI安全动态回顾：
* AI安全周刊【2026-01-12】
* AI安全周刊【2026-01-05】
* AI安全周刊【2025-12-29】
* AI安全周刊【2025-12-22】
* AI安全周刊【2025-12-15】
* AI安全周刊【2025-12-08】
* AI安全周刊【2025-12-01】
* AI安全周刊【2025-11-24】
* AI安全周刊【2025-11-17】
* AI安全周刊【2025-11-10】
* AI安全周刊【2025-11-03】
* AI安全周报【2025-10-27】
* AI安全周报【2025-10-20】
* AI安全周报【2025-10-13】
* AI安全周报【2025-10-06】
* AI安全周报【2025-09-26】
* AI安全周报【2025-09-19】
* AI安全周报【2025-09-12】
* AI安全周报【2025-09-05】

关注“鲸栖”小程序，掌握最新AI资讯

本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：http://www.itsolotime.com/archives/18427

赞 (0)
0 0
上一篇 2026年1月19日 上午7:08
下一篇 2026年1月19日 上午8:20

相关推荐

  • 腾讯AI战略升级：顶尖人才引领，开源基建与模型协同加速智能体落地 AI产业动态

    腾讯AI战略升级：顶尖人才引领，开源基建与模型协同加速智能体落地

    在外界感知中，腾讯在 AI 领域的动作更多被贴上稳健甚至克制的标签。但在 2025 年的尾声，从人才引进到产品迭代再到组织变革，一系列密集信号的发出，也侧面表明这个巨头正在按下加速键。 12 月 17 日，机器之心报道证实，前 OpenAI 研究员、清华校友姚顺雨（Vinces Yao）正式加入腾讯，出任「CEO / 总裁办公室」首席 AI 科学家，并直接向…

    2025年12月25日
    20700
  • 华人学者苏炜杰获2026考普斯奖：为大语言模型建立严格统计基础，14年来首位华人得主 AI产业动态

    华人学者苏炜杰获2026考普斯奖：为大语言模型建立严格统计基础，14年来首位华人得主

    在时隔14年之后，有着“统计学诺贝尔奖”之称的考普斯奖（COPSS Presidents’ Award），又一次迎来了华人得主。 2026年考普斯奖颁给了北大校友、现宾夕法尼亚大学副教授苏炜杰。 奖项委员会给他的评语是：“为大语言模型的多项应用建立了严格的统计基础；在隐私保护数据分析方面取得突破性进展，并成功应用于2020年美国人口普查；设计了A…

    2026年2月7日
    11100
  • 自进化Agent突破量化因子挖掘瓶颈：QuantaAlpha框架实现27.75%年化收益 AI产业动态

    自进化Agent突破量化因子挖掘瓶颈：QuantaAlpha框架实现27.75%年化收益

    上财团队 投稿 量子位 | 公众号 QbitAI 在量化金融的底层，Alpha因子本质上是一段可执行的代码逻辑，它们试图将嘈杂的市场数据映射为精准的交易信号。然而，长期以来，自动化因子挖掘始终被困在“两难”的夹缝中：传统的遗传规划 （Genetic Programming，GP） 虽然擅长在海量空间中进行进化搜索，但其本质是“盲目的随机变异”。 它们在回测中…

    2026年2月11日
    30200
  • 算力定价权之争：英伟达如何重塑AI成本结构与行业生态 AI产业动态

    算力定价权之争：英伟达如何重塑AI成本结构与行业生态

    近期ChatGPT Plus订阅费从20美元上调至22美元，Claude推出30美元Team档和Max档服务，AI服务集体进入价格调整周期。表面看是OpenAI、Anthropic等模型厂商的定价策略变化，但深入产业链分析会发现，真正的价格推手隐藏在算力供应链的最上游——英伟达通过GPU垄断地位，正在重新定义整个AI行业的基础成本结构。 **算力成本的结构性…

    2025年11月30日
    18000
  • Vercel发布skills 1.1.1：打破AI助手技能孤岛，构建跨平台共享新生态 AI产业动态

    Vercel发布skills 1.1.1：打破AI助手技能孤岛，构建跨平台共享新生态

    Vercel 正式发布了命令行工具 skills 的 1.1.1 版本，该工具旨在解决 AI 助手领域一个长期被忽视的问题：为技能的发现与管理建立一套开放标准。 打破技能孤岛 当前，主流的 AI 编程助手（如 Cursor、Claude Code、GitHub Copilot）都拥有各自独立的技能系统，彼此互不兼容。为其中一个助手开发的技能，无法直接应用于其…

    2026年1月28日
    71800