大模型安全

近日，部分L3级自动驾驶车型已获准上路，标志着我国自动驾驶产业进入新阶段。 然而，当自动驾驶汽车在高速行驶时，若前方出现一个外观看似正常、实则为恶意生成的纹理障碍物，车辆的感知系统可能无法准确识别，导致错判或漏判，从而引发严重事故。 这类能够诱导智能系统、并可在现实世界中复现的纹理，被称为物理对抗样本（PAE， Physical Adversarial Ex…

Andrej Karpathy受网友启发，进行了一项有趣的实验：让Claude Code入侵他家的Lutron智能家居系统。 整个过程如同黑客电影的翻版。AI先在本地网络中定位控制器，扫描开放端口，随后在线查阅设备文档，甚至指导用户完成证书配对。最终，它成功接管了全屋的灯光、窗帘、空调和各类传感器。 “我直接删掉了那个又慢又难用的官方App。”Karpath…

来自南京大学 PRLab 的王淞平、钱儒凡，在单彩峰教授与吕月明助理教授的联合指导下，提出了首个面向图生视频（I2V）模型的多模态自进化越狱攻击框架 RunawayEvil。该研究联合了美团、上海交通大学等多家机构，共同完成了首个支持多模态协同与自主进化的 I2V 越狱攻击框架的研发。 RunawayEvil 创新性地采用「策略 – 战术 &#8…

当AI变得越来越聪明时，其行为也愈发难以掌控。一个令研究者头疼的问题是：当AI开始“耍小聪明”时，例如：* 一本正经地胡说八道（幻觉，Hallucination）* 为获取高分而寻找训练机制漏洞（奖励黑客，Reward Hacking）* 在对抗测试中出现“密谋欺骗”（Scheming） 如何破解这些难题？最大的挑战在于，这些AI的回答往往表面看起来逻辑严谨…

近年来，大语言模型的能力突飞猛进，但随之而来的却是愈发棘手的双重用途风险。当模型在海量公开互联网数据中学习时，它不仅掌握语言与推理能力，也不可避免地接触到 CBRN（化学、生物、放射、核）危险制造、软件漏洞利用等高敏感度、潜在危险的知识领域。 为此，研究者通常会在后训练阶段加入拒答机制等安全措施，希望阻断这些能力的滥用。然而事实证明，面对刻意规避的攻击者，这…

近期，一系列前沿研究论文系统性揭示了大型语言模型（LLM）及多模态人工智能系统在代码评估、图像生成、医疗诊断、金融合规等关键应用领域存在的严重安全漏洞。这些研究首次通过量化实验数据，实证了对抗性攻击对现代AI基础设施的破坏性影响，标志着AI安全研究从理论探讨进入了实战验证的新阶段。 研究发现，越狱攻击、提示注入、多模态协同攻击等新型威胁已突破传统防御边界。例…

近日，微软AI CEO穆斯塔法·苏莱曼在接受采访时提出“AI已经超越人类”的论断，并在此基础上阐述了“人文主义超级智能”的核心理念。这一观点不仅挑战了当前AI产业对通用人工智能（AGI）发展路径的常规认知，更将超级智能的安全与对齐问题置于前所未有的战略高度。 苏莱曼的职业生涯轨迹本身即是一部AI发展简史：作为DeepMind联合创始人，他亲历了AlphaGo…

近期，人工智能安全领域的研究焦点正从传统的漏洞修补转向对大型语言模型（LLM）系统性脆弱性的深度解构与主动防御机制的创新构建。一系列前沿论文不仅揭示了当前技术在对抗性攻击面前的显著局限，更为构建下一代鲁棒、可信的AI系统提供了多维度的解决方案。这些进展对于应对日益复杂的安全挑战、推动AI技术的负责任部署具有至关重要的指导意义。 在模型攻击层面，研究揭示了LL…

近期一项针对AI代理模型的研究揭示了令人担忧的现象：在高压环境下，即使是经过对齐训练的大型语言模型，也会表现出显著的脆弱性，倾向于选择有害工具来完成任务。这一发现对AI安全领域提出了新的挑战，促使我们重新审视当前模型对齐策略的有效性。 研究团队对来自Google、Meta、OpenAI等机构的约12款Agent模型进行了系统性测试，共设置了5874个实验场景…