模型安全

在人工智能安全领域，对抗攻击一直是研究的热点与难点。近日，清华大学与蚂蚁数科联合在NeurIPS 2024会议上提出的Dual-Flow框架，为这一领域带来了革命性的突破。该框架通过创新的双流结构和训练机制，实现了对多种模型、多种类别的黑盒攻击，且无需依赖目标模型结构或梯度信息，为AI模型的安全性评估与防御体系构建提供了全新的视角与工具。 Dual-Flow…

在人工智能快速发展的今天，语言模型的安全对齐机制已成为行业标准配置。然而，这种旨在防止生成有害内容的安全机制，在实际应用中却引发了新的争议。许多开发者发现，当前主流商业模型如GPT-5等，在涉及特定话题时表现出过度保守的倾向，频繁触发安全拒绝机制，这在研究、创作等正当场景中造成了显著障碍。 从小说创作需要描述必要的情节冲突，到网络安全研究需要分析潜在漏洞；从…