深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?

随着深度伪造技术的不断进步,演艺行业的明星们已成为换脸技术的最大受害者。近日,多起演员被换脸、克隆,甚至用于虚假宣传的事件频频曝光,引发了社会的广泛关注。

例如,网友发现 AI 短剧《重生后,我成了娘亲的守护神》第 14 集开头疑似使用了演员杨紫的脸。某短剧平台则在未经许可的情况下,使用 AI 换脸技术伪造了易烊千玺的肖像与声音。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?
网友称AI短剧《重生后,我成了娘亲的守护神》第14集开头疑似使用了演员杨紫的脸。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?
某短剧平台多部AI短剧在未经许可的情况下使用AI换脸技术,伪造星易烊千玺的肖像及声音。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?
演员王劲松也曾就AI虚假代言发声。

不仅演员们纷纷发声,官方也开始出手。中国广播电视社会组织联合会演员委员会于 4 月 2 日发布严正声明,强烈谴责 AI 换脸、素材滥用及违规训练 AI 模型等行为,发出行业警告:严守法律底线,捍卫视听真实。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”? | 深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?
—|—

随着各类图像和视频生成模型的飞速迭代,人眼已经难以分辨真实与伪造的界限。换脸技术,只是这一技术滥用的冰山一角。

更为严重的是,深度伪造技术滥用的风险急剧上升——从库里采访的 AI 杜撰事件,到 AI 生成的假水果图骗取退款,这些乱象正在严重挑战社会信任和内容平台的生态。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”? | 深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?
—|—

在这个技术乱象丛生的时代,如何让 AI 具备“火眼金睛”成了当务之急。

最近,计算机视觉领域的顶级会议 CVPR 2026 的 NTIRE 鲁棒性 AIGC 图像检测挑战赛(Robust AI-Generated Image Detection in the Wild Challenge)结果出炉。蚂蚁集团 AI 安全实验室的队伍 MICV 凭借在鲁棒性测试样本上 ROC AUC 达到 0.9723,成功摘得「复杂真实场景鲁棒性样本测试」挑战赛的冠军。这场挑战赛吸引了全球 500 多支队伍的参与。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”? 深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?

与此同时,蚂蚁团队还发布了业内最全面的 AIGC 图像视频检测资源仓库。这个仓库整合了最新的热点事件、前沿论文、基准数据集及实用工具,为全球研究人员提供了一个技术参考的宝贵资源。团队将持续更新,确保资源的时效性与前沿性,以应对 AI 生成内容带来的挑战。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?
开源仓库 :Awesome-AIGC-Image-Video-Detection

现实挑战:AIGC 鉴真面临的双重鸿沟

虽然现有的 AI 鉴真技术在标准高质量基准测试中表现不俗,但面对复杂多变的真实开放场景时,检测模型的准确率往往会出现断崖式下降。这一现象使得业内急需解决两个核心技术难题。

一个是跨域泛化能力不足。 不同生成架构和闭源商业平台的生成机制差异巨大,伪影特征也随之变化。传统检测模型常常对单一训练数据过拟合,一旦遇到新的生成体系,便容易失效,难以识别新型伪造内容。

另一个是真实世界的降质干扰。图像在互联网传播过程中,不可避免地经历压缩、模糊、加噪等降质处理,这些退化现象往往会掩盖微弱的生成痕迹,极大增加了鉴伪的难度。

正是基于这些痛点,本次 CVPR 挑战赛特别聚焦于如何在「未知生成架构」与「复杂退化干扰」双重考验下,依然保持模型的高准确率和高鲁棒性。

解决方案:基于 DINOv3 的鲁棒检测框架

为了应对上述挑战,蚂蚁安全团队提出了一种基于 DINOv3 视觉基础模型 的鲁棒集成检测框架。这一框架充分发挥了 DINOv3 在高频细节上的强大表征能力,并结合数据构建、模型架构和优化策略的创新,成功实现了从实验室基准到复杂真实场景的有效迁移。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?

分层级数据构建:百万级多源训练语料
高质量且多维的数据集是打破过拟合的基石。团队依托深厚的数据积累,构建了包含数百万样本的复杂训练语料库,层次化覆盖四类数据来源:开源学术基准、主流开源生成模型定向合成、商业闭源 API 高保真样本,以及比赛官方数据,确保对当前主流生成生态的全面覆盖。

双流特征融合的集成架构:充分挖掘表征潜力
为充分挖掘 DINOv3 在复杂高频细节上的表征潜力,团队设计了双流并行架构。架构将多组不同配置的 DINOv3 主干网络划分为两个独立的网络组,每组内部通过多尺度特征融合机制聚合局部空间特征与全局语义信息,最终由 MLP 模块输出分支预测结果。在决策层面,两个网络组独立执行特征提取与预测,最终通过加权平均完成后融合。这种设计既避免早期特征级联的信息淹没问题,又通过不同配置网络的互补效应,提取出更加全局、立体的图像表征。

难度感知的鲁棒数据增强:模拟真实传播链路的阶梯式退化
真实世界的图像在互联网传播中会经历压缩、模糊、加噪、截取等多级退化,掩盖原有的微弱生成痕迹。为缩小实验室数据与真实场景的分布差异,团队构建了阶梯式的鲁棒数据增强链路:
* 多类型退化的系统模拟:涵盖模糊、噪声、压缩伪影、色彩偏移及几何畸变等多种退化类型,通过分层强度配置,实现从单一扰动到复杂复合扰动的递进式模拟,深度还原互联网传播链路中的多级退化特征。
* 高保真感知增强机制:引入神经网络压缩模型模拟先进编码失真,同时补充社交平台传播压缩、二次翻拍及截屏等非对称退化样本,填补算法模拟与真实边缘场景的分布差异。

模型优化:构建平滑鲁棒的参数空间
* Focal Loss:针对退化样本检测难易度不均的问题,动态抑制易分类样本权重,强制模型聚焦被严重降质掩盖的困难样本。
* 随机权重平均(SWA):在训练收敛后期对参数空间内多个权重轨迹平滑平均,引导模型收敛至更平坦的极小值区域,降低过拟合风险。
* TTA 机制:推理阶段联合原始图像及其水平翻转版本进行结果平均,有效提升推理稳定性。

通过这一系列技术创新,蚂蚁团队不仅解决了当前 AIGC 检测技术在面对多变场景时的诸多挑战,还为未来更高效、更精准的深度伪造检测奠定了基础,进一步推动了 AI 鉴真技术的发展。

产研并进:打破黑盒瓶颈,拓宽 AIGC 鉴真技术边界

蚂蚁安全团队在 AI 鉴真技术的理论与方法上不断创新,近期在 CVPRICLR 等国际顶级会议上发布了多项高水平研究成果。这些突破不仅为 AI 鉴真领域带来了新的技术思路,也为破解现有技术瓶颈奠定了基础。

团队的目标是打破传统鉴真模型的黑盒局限,未来的AI鉴真技术将不仅仅是简单的二分类任务,而是具备强大的泛化能力,并能像人类专家一样进行推理。

Veritas 框架 便是这一努力的具体体现。通过结合多模态大语言模型和模式感知推理机制,团队突破了传统大模型纯文本思维链的限制,使得模型在面对未知生成器时,能展现出更强的适应性和推理能力。

Veritas 框架
在跨域、跨操控类型的检测场景中,Veritas 框架超越了现有 SOTA 方法的性能,并且能够输出透明且令人信服的推理过程,展示了人工智能在应对深度伪造问题时的巨大潜力。该研究成果被 ICLR 2026 录用为口头报告,进一步证明了其在学术界的影响力。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”? | 深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?
—|—

Locate-Then-Examine 范式
与此同时,团队还提出了另一项创新——Locate-Then-Examine。这一两阶段检测新范式通过「先定位可疑区域,再进行细节审查」的方法,极大提升了检测精度,并有效解决了当前模型普遍存在的幻觉问题。这一技术的推出,使得 AI 鉴真在实际应用中更加准确和可靠,标志着 AIGC 检测技术迈向了新的高度。

深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”? | 深度伪造泛滥:演艺圈成重灾区,蚂蚁集团AI安全技术如何练就“火眼金睛”?

持续深耕:筑牢 AI 安全防线

在生物识别与安全检测领域,团队通过持续的技术积累,主导并参与了多项国际安全标准的制定,并积累了超过 50 项国际专利。这些成果为团队在全球顶级赛事中屡获佳绩提供了坚实基础。

随着大模型时代的到来,安全威胁日益复杂。自 2024 年以来,团队在 AI 鉴真领域已发表 8 篇高水平学术论文,开源了 4 个具有行业影响力的基准数据集,并在相关国际顶级赛事中获得 3 次冠军。

在技术落地方面,团队为多个平台提供了强大且鲁棒的 AIGC 检测解决方案,服务了数亿用户。相关技术已通过 CNAS 认证iBeta 国际生物安全认证 等多项权威认证,标志着其在行业中的领先地位。


关注“鲸栖”小程序,掌握最新AI资讯

本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:https://www.itsolotime.com/archives/29508

(0)
上一篇 8小时前
下一篇 8小时前

相关推荐

  • EnchTable:无需重训练的模型安全对齐框架,破解微调后安全能力退化难题

    在人工智能模型快速发展的当下,微调(Fine-tuning)已成为提升模型在特定任务上性能的关键技术。然而,最近的研究揭示了一个严峻问题:模型的微调过程会严重削弱其安全对齐(Safety Alignment)能力。这意味着,随着模型在特定领域能力的增强,其安全防护机制反而可能被削弱,导致模型在应对恶意查询、越狱攻击时表现脆弱。这种“能力越强越危险”的现象,已…

    2025年11月19日
    22500
  • 大模型安全前沿:漏洞检测与文本识别的新突破与挑战

    在人工智能技术飞速发展的今天,大模型安全已成为学术界与工业界共同关注的焦点。本周,尽管相关研究成果数量有限,但每一项进展都深刻影响着大模型安全生态的构建。从漏洞检测到机器生成文本识别,再到对抗性攻击防御,这些研究不仅揭示了当前技术的局限性,更为未来安全框架的设计提供了关键思路。本文将深入分析两项核心研究,并探讨其在大模型安全领域的实际意义与潜在影响。 ###…

    2025年11月10日
    21500
  • DeepSeek爆火背后的安全隐忧:从模型下载到部署运营的全链路风险剖析

    近几个月,国产开源大模型DeepSeek凭借“小参数、高性能”的显著优势迅速席卷市场,引发了企业私有化部署需求的激增。然而,在这股AI应用热潮的背后,却暗藏着不容忽视的安全风险。最新数据显示,高达88.9%的企业在部署AI服务器时未采取任何基础安全措施,而像Ollama这类默认未启用安全认证的流行框架,更使得企业服务器如同“大门敞开”,暴露于多重威胁之下。本…

    2025年3月10日
    34300
  • AI安全警报:多模态越狱与黑盒攻击揭示系统级脆弱性

    近期,一系列前沿研究论文系统性揭示了大型语言模型(LLM)及多模态人工智能系统在代码评估、图像生成、医疗诊断、金融合规等关键应用领域存在的严重安全漏洞。这些研究首次通过量化实验数据,实证了对抗性攻击对现代AI基础设施的破坏性影响,标志着AI安全研究从理论探讨进入了实战验证的新阶段。 研究发现,越狱攻击、提示注入、多模态协同攻击等新型威胁已突破传统防御边界。例…

    2025年12月15日
    26200
  • AI安全前沿深度剖析:从越狱攻击到多模态防御,构建鲁棒大模型的新范式

    近期,人工智能安全领域的研究焦点正从传统的漏洞修补转向对大型语言模型(LLM)系统性脆弱性的深度解构与主动防御机制的创新构建。一系列前沿论文不仅揭示了当前技术在对抗性攻击面前的显著局限,更为构建下一代鲁棒、可信的AI系统提供了多维度的解决方案。这些进展对于应对日益复杂的安全挑战、推动AI技术的负责任部署具有至关重要的指导意义。 在模型攻击层面,研究揭示了LL…

    2025年12月8日
    20700