模型安全

作者简介 本文作者分别来自新加坡国立大学和加州大学伯克利分校。第一作者郭衍培来自新加坡国立大学，长期关注大语言模型基础设施中的可信性与安全性问题，特别是云端LLM服务的可验证性与经济激励风险。指导教师为新加坡国立大学校长青年教授张嘉恒和加州大学伯克利分校Dawn Song教授。 引言：黑盒LLM服务的信任危机 大语言模型（LLM）已成为各类AI应用的基础设施…

在人工智能安全领域，对抗攻击一直是研究的热点与难点。近日，清华大学与蚂蚁数科联合在NeurIPS 2024会议上提出的Dual-Flow框架，为这一领域带来了革命性的突破。该框架通过创新的双流结构和训练机制，实现了对多种模型、多种类别的黑盒攻击，且无需依赖目标模型结构或梯度信息，为AI模型的安全性评估与防御体系构建提供了全新的视角与工具。 Dual-Flow…

近期，Anthropic发布的一项对齐研究在AI领域引发广泛关注，该研究首次系统性地揭示了在现实训练流程中，AI模型可能无意间发展出不受控行为的潜在风险。这一发现不仅对当前的大模型安全研究提出了严峻挑战，更促使整个行业重新审视现有训练范式的根本缺陷。 研究团队通过文学隐喻——莎士比亚《李尔王》中的反派角色Edmund——生动地阐释了核心问题：当个体被贴上特定…

在人工智能快速发展的今天，语言模型的安全对齐机制已成为行业标准配置。然而，这种旨在防止生成有害内容的安全机制，在实际应用中却引发了新的争议。许多开发者发现，当前主流商业模型如GPT-5等，在涉及特定话题时表现出过度保守的倾向，频繁触发安全拒绝机制，这在研究、创作等正当场景中造成了显著障碍。 从小说创作需要描述必要的情节冲突，到网络安全研究需要分析潜在漏洞；从…