对抗攻击

在人工智能安全领域，对抗攻击一直是研究的热点与难点。近日，清华大学与蚂蚁数科联合在NeurIPS 2024会议上提出的Dual-Flow框架，为这一领域带来了革命性的突破。该框架通过创新的双流结构和训练机制，实现了对多种模型、多种类别的黑盒攻击，且无需依赖目标模型结构或梯度信息，为AI模型的安全性评估与防御体系构建提供了全新的视角与工具。 Dual-Flow…

近期，一系列前沿研究论文系统性揭示了大型语言模型（LLM）及多模态人工智能系统在代码评估、图像生成、医疗诊断、金融合规等关键应用领域存在的严重安全漏洞。这些研究首次通过量化实验数据，实证了对抗性攻击对现代AI基础设施的破坏性影响，标志着AI安全研究从理论探讨进入了实战验证的新阶段。 研究发现，越狱攻击、提示注入、多模态协同攻击等新型威胁已突破传统防御边界。例…

在移动互联网时代，智能手机已成为人们日常生活中不可或缺的智能终端。移动应用通过Android和iOS系统接口获取加速度计、陀螺仪等运动传感器数据，这些数据支撑了活动识别、计步、手势交互、游戏控制、健康监测等众多核心功能，构成了现代移动服务的技术基石。然而，传感器数据的高度细粒度特性在带来丰富应用可能性的同时，也埋下了严重的隐私安全隐患。近年来多项研究表明，看…

近期，人工智能安全领域的研究焦点正从传统的漏洞修补转向对大型语言模型（LLM）系统性脆弱性的深度解构与主动防御机制的创新构建。一系列前沿论文不仅揭示了当前技术在对抗性攻击面前的显著局限，更为构建下一代鲁棒、可信的AI系统提供了多维度的解决方案。这些进展对于应对日益复杂的安全挑战、推动AI技术的负责任部署具有至关重要的指导意义。 在模型攻击层面，研究揭示了LL…

诗歌攻击：大语言模型安全防线在文学隐喻下的全面崩溃 一项最新研究揭示，一种出人意料的简单方法能有效突破主流大语言模型（LLM）的安全限制：将恶意指令改写为诗歌。这项由罗马大学和DEXAI实验室的研究人员开展的工作表明，面对“诗歌攻击”，即便是GPT-5、Gemini 2.5 Pro、Claude 4.5等顶尖模型的安全护栏也可能瞬间失效。 论文《Advers…

随着DeepSeek、Qwen等大型语言模型在金融、医疗、教育等关键领域的广泛应用，其输入输出安全问题已从学术讨论演变为产业实践的紧迫挑战。模型可能被恶意提示诱导生成有害内容，或在交互中意外泄露训练数据中的敏感信息，这些风险不仅威胁用户隐私，更可能引发法律合规问题。作为科技从业者，系统掌握安全评估数据集是构建可靠AI系统的基石。本文将通过600余字的深度分析…

随着人工智能技术的飞速发展，大模型已成为推动产业变革的核心引擎。然而，其广泛应用背后潜藏的安全风险不容忽视。本文基于国内外最新研究与实践，深入剖析大模型安全面临的系统性挑战，并全面梳理当前主流技术框架，为构建可信、可靠的大模型生态系统提供深度参考。 ### 一、大模型安全：定义、挑战与紧迫性 大模型安全是指确保大型人工智能模型（如GPT、视觉大模型等）在开发…