大模型安全

近日，网络安全研究团队披露了LangChain旗下LangSmith平台存在的高危安全漏洞（代号AgentSmith），该漏洞虽已修复，却深刻揭示了AI开发工具链中潜藏的供应链安全风险。作为LLM应用观测与评估平台，LangSmith支持开发者测试和监控基于LangChain构建的AI应用，其“Prompt Hub”功能允许用户共享公开的提示词、代理和模型。…

随着ChatGPT、Gemini等大语言模型的广泛应用，AI助手已深度融入企业办公场景，微软365 Copilot、谷歌Gemini及各类本地协作机器人正重塑工作流程。然而，技术革新往往伴随新型风险。近日，知名安全公司Aim Labs发布报告，披露针对Microsoft 365 Copilot的重大安全漏洞“EchoLeak”（CVE-2025-32711）…

2025年5月，大模型安全领域经历了标志性转折。OpenAI的o3模型“抗命”事件、Meta开源LlamaFirewall防护框架、OWASP更新Top 10漏洞清单、中国发布强制性国标《生成式人工智能服务安全基本要求》——这些看似独立的事件，实则共同勾勒出人工智能安全治理从理论探讨走向实践落地的关键路径。本文将从技术失控风险、防御体系演进、政策框架构建三个…

在人工智能技术快速发展的浪潮中，Model Context Protocol（MCP）作为连接大模型与外部工具的标准化接口协议，正逐渐成为AI应用生态中的关键基础设施。然而，这一被誉为“模型统一通用接口”的技术方案，其简洁优雅的设计背后却隐藏着可能颠覆整个系统的安全漏洞。本文将从技术架构、攻击机制和防御策略三个维度，深入剖析MCP协议存在的三大设计缺陷及其引…

随着DeepSeek、Qwen等大型语言模型在金融、医疗、教育等关键领域的广泛应用，其输入输出安全问题已从学术讨论演变为产业实践的紧迫挑战。模型可能被恶意提示诱导生成有害内容，或在交互中意外泄露训练数据中的敏感信息，这些风险不仅威胁用户隐私，更可能引发法律合规问题。作为科技从业者，系统掌握安全评估数据集是构建可靠AI系统的基石。本文将通过600余字的深度分析…

随着人工智能技术的飞速发展，大模型已成为推动产业变革的核心引擎。然而，其广泛应用背后潜藏的安全风险不容忽视。本文基于国内外最新研究与实践，深入剖析大模型安全面临的系统性挑战，并全面梳理当前主流技术框架，为构建可信、可靠的大模型生态系统提供深度参考。 ### 一、大模型安全：定义、挑战与紧迫性 大模型安全是指确保大型人工智能模型（如GPT、视觉大模型等）在开发…

在人工智能技术快速发展的浪潮中，检索增强生成（RAG）架构已成为企业构建智能应用的核心技术之一。通过将大语言模型与外部知识库相结合，RAG系统能够提供更准确、更专业的响应，广泛应用于智能客服、知识助手、内容生成等场景。然而，随着RAG技术的普及，一种新型的安全威胁——RAG投毒攻击（RAG Poisoning）正悄然浮现，对企业数据安全构成严峻挑战。 RAG…

2025年3月，AI安全服务商SplxAI正式开源其核心产品Agentic Radar。这款聚焦智能体工作流透明化的工具，正以独特的架构可视化能力解决AI安全领域的“黑箱困境”，或将重塑企业级AI系统的安全防护标准。 一、深度解析Agentic Radar技术架构 Agentic Radar是用于智能体系统的开源扫描仪工具，可帮助安全团队和AI工程师了解AI…

近几个月，国产开源大模型DeepSeek凭借“小参数、高性能”的显著优势迅速席卷市场，引发了企业私有化部署需求的激增。然而，在这股AI应用热潮的背后，却暗藏着不容忽视的安全风险。最新数据显示，高达88.9%的企业在部署AI服务器时未采取任何基础安全措施，而像Ollama这类默认未启用安全认证的流行框架，更使得企业服务器如同“大门敞开”，暴露于多重威胁之下。本…