大模型安全

在医疗资源分布不均、基层诊疗压力巨大的现实背景下，人工智能技术正从实验室走向临床一线，开启一场深刻的医疗变革。根据最新统计，中国糖尿病患者已达2.33亿人，远超现有医疗资源的承载能力。基层医生每天面对的是混杂的真实世界：心血管、呼吸、消化等各种疾病交织出现；一旦遇上少见症状或复杂共病，往往会感到吃力，甚至陷入“想得不全、顾得不够”的困境。这种结构性矛盾，为医…

在人工智能快速发展的今天，语言模型的安全对齐机制已成为行业标准配置。然而，这种旨在防止生成有害内容的安全机制，在实际应用中却引发了新的争议。许多开发者发现，当前主流商业模型如GPT-5等，在涉及特定话题时表现出过度保守的倾向，频繁触发安全拒绝机制，这在研究、创作等正当场景中造成了显著障碍。 从小说创作需要描述必要的情节冲突，到网络安全研究需要分析潜在漏洞；从…

近期，一系列前沿研究揭示了人工智能安全领域的重要进展，从攻击向量创新到防御技术突破，为构建更可靠的AI系统提供了关键见解。这些研究不仅展示了当前大型语言模型（LLM）面临的安全挑战，更提出了切实可行的解决方案，推动着AI安全从被动防御向主动防护的范式转变。 在攻击向量方面，研究发现了语言风格重写这一新型越狱手段。通过将恶意请求改写为恐惧、同情或好奇等特定风格…

AI黑客团队Strix：一周狂揽8K星，用多智能体协同渗透测试颠覆传统安全扫描 近日，一个名为 Strix 的开源项目在 GitHub 上迅速走红，凭借其创新的理念在一周内就获得了近 8K 的 Star。 Strix 的理念与传统安全扫描工具有本质区别。它并非一个简单的规则匹配引擎，而是通过模拟真实黑客的思考和行为方式，让 AI 在网站或应用中主动寻找漏洞。…

你是否考虑过RAG流水线中的文档隐私风险？本文介绍一种新方法，旨在解决此问题。 为何“标准RAG → 云端搜索”存在隐私缺陷 标准RAG将明文文档直接输入提示词。对于企业合同、医疗记录或个人笔记等敏感数据，这种做法在设计上就暴露了信息，不可行。 参数化RAG尝试将知识“烘焙”进LoRA权重，但在实践中面临两大挑战： 运维负担与时延：每份文档都需要生成合成问答…

在人工智能技术飞速发展的今天，大模型安全已成为学术界与工业界共同关注的焦点。本周，尽管相关研究成果数量有限，但每一项进展都深刻影响着大模型安全生态的构建。从漏洞检测到机器生成文本识别，再到对抗性攻击防御，这些研究不仅揭示了当前技术的局限性，更为未来安全框架的设计提供了关键思路。本文将深入分析两项核心研究，并探讨其在大模型安全领域的实际意义与潜在影响。 ###…

在人工智能技术飞速发展的今天，大语言模型已成为推动社会进步的重要工具。然而，随着模型能力的提升，其安全性问题也日益凸显。近期，一项由清华大学、新加坡Sea AI Lab、复旦大学等机构联合开展的研究揭示了一种新型攻击手段——利用Unicode变体选择器（Variation Selectors）实施“隐形越狱”攻击。这种攻击不仅突破了Vicuna、Llama、…

近日，由谷歌前CEO埃里克·施密特通过施密特科学基金会资助的「AI2050」奖学金公布了第四届入选名单，28位学者获得总额超过1800万美元的资助，持续推动人工智能向普惠、安全的方向发展。这一项目不仅为顶尖研究者提供资金支持，更构建了一个全球性的学术合作网络，旨在应对AI发展中的核心挑战。 本次奖学金聚焦三大研究方向：构建AI科学家系统、设计更安全可信的AI…

OpenAI近日推出了名为Aardvark的自主安全研究智能体，该智能体由GPT-5驱动，旨在自动发现并修复软件代码中的安全漏洞。 目前，Aardvark处于beta测试阶段。OpenAI将其定位为一种“防御者优先”的新范式，能够随代码库的演化为开发团队提供持续的保护。 根据OpenAI披露的数据，在标准代码库的基准测试中，Aardvark对已知漏洞与人工植…