近期，人工智能安全领域的研究焦点正从传统的漏洞修补转向对大型语言模型（LLM）系统性脆弱性的深度解构与主动防御机制的创新构建。一系列前沿论文不仅揭示了当前技术在对抗性攻击面前的显著局限，更为构建下一代鲁棒、可信的AI系统提供了多维度的解决方案。这些进展对于应对日益复杂的安全挑战、推动AI技术的负责任部署具有至关重要的指导意义。
在模型攻击层面，研究揭示了LLM面临的多维威胁图谱。越狱攻击（Jailbreak）通过精心设计的提示词绕过模型的安全对齐机制，诱导其生成有害、偏见或泄露敏感信息的内容。例如，CKA-Agent框架通过知识分解攻击，将有害目标拆解为一系列看似无害的子查询，成功以超过95%的率绕过商业LLM的防护。这种攻击利用了模型内部知识的关联性，每个子查询单独检测时不会触发警报，但组合后却能实现恶意目标，深刻暴露了现有输入级和表示级防御机制的不足。
此外，工具完成攻击（TCA）作为一种新型漏洞，通过伪造任务完成状态来欺骗LLM，攻击成功率高达90%以上，连GPT-4o和DeepSeek-R1等先进模型也难以幸免。这凸显了仅依赖输出内容过滤的防御策略存在根本性盲区。
智能代理系统的安全边界同样面临严峻考验。LeechHijack攻击揭示了基于LLM的代理系统中存在的隐式毒性（Implicit Toxicity）威胁。攻击者通过合法工具接口植入后门，在触发条件下建立命令与控制（C2）通道，隐蔽窃取计算资源。实验表明，该攻击在四种主流LLM模型和三种部署架构上平均成功率高达77.25%，资源开销为18.62%，且现有机制难以检测。这暴露了代理工具生态系统因模型上下文协议（MCP）开放性而带来的根本性安全漏洞，警示我们在追求功能灵活性的同时必须筑牢安全基线。
在防御机制创新方面，研究正从静态规则向动态、自适应体系演进。MAAG框架代表了这一趋势的典范。它通过免疫记忆机制实现了对新型越狱攻击的自适应检测，检测准确率达98%，F1分数高达96%。其多智能体协作架构包含免疫检测、响应模拟和记忆更新三个阶段，能够动态学习新型攻击模式，无需昂贵的模型再训练即可保持高检测率，显著提升了应对未知威胁的敏捷性。
另一项重要进展是上下文感知分层学习（CAHL）机制。该机制通过动态平衡语义理解和角色特定指令约束，在提升LLM对抗鲁棒性的同时保持了通用任务性能。在零样本评估中，CAHL展现出强大的泛化能力，例如在Tool-Completion基准测试中将攻击成功率从45%降至12%，为构建既安全又实用的模型提供了新思路。
针对间接提示注入这一棘手问题，IntentGuard框架通过分析模型的指令跟随意图来实施防御。其核心在于识别模型是否意图执行来自不可信数据的指令，并通过指令提取、来源追踪和注入缓解三步，结合三种“思维干预”策略引导模型生成结构化指令列表。在Mind2Web场景下，该框架将攻击成功率从100%大幅降至8.5%，同时保持了模型的正常功能，展示了意图级防御的有效性。
值得注意的是，多模态与检索增强生成（RAG）系统的安全也进入研究视野。EmoRAG研究揭示，RAG系统对表情符号等微小符号扰动具有高度敏感性——单个表情符号的注入就能导致系统检索到语义无关但包含相同符号的文本，攻击成功率接近100%。更令人警觉的是，参数规模更大的模型对此类扰动反而更敏感，F1分数在扰动下接近1.00，且将表情符号置于查询开头时扰动效应最为显著。这警示我们，随着模型能力提升，其脆弱性可能以非线性的方式增长，安全设计必须考虑符号、多模态等非文本维度的攻击面。
综合来看，当前AI安全研究呈现出几个清晰趋势：防御机制从被动响应转向主动、自适应学习；安全考量从单一模型扩展到智能体、工具链等生态系统；攻击面从纯文本拓展到多模态、符号扰动等新维度。这些进展不仅为开发者提供了具体的技术工具，更推动着整个行业对“安全-by-design”理念的深化实践。未来，随着AI渗透到金融、医疗、政务等高风险领域，通过多层防御策略——结合输入过滤、意图分析、动态检测与输出验证——构建端到端的鲁棒体系，将成为确保技术可信、可控发展的关键基石。
— 图片补充 —
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：http://www.itsolotime.com/archives/10015