AI生成数据污染：医疗诊断可靠性的隐形杀手与破解之道

随着生成式人工智能在医疗领域加速渗透，越来越多的病历、影像报告及各类临床文本正逐步纳入AI参与生成的范畴。这一旨在提升效率的技术革新背后，潜藏着威胁诊断安全性的深层隐患。

一项由新加坡国立大学、哈佛大学、斯坦福大学、耶鲁大学、谷歌及梅奥诊所等机构的跨学科团队完成的最新研究表明，当AI生成的临床文本被用作训练新一代AI模型时，一些罕见但关键的病理信息会在数据迭代过程中悄然消失，导致医疗AI的整体诊断可靠性在群体层面持续下降。

研究团队对临床文本生成、视觉-语言报告生成及医学图像合成三大任务下的80余万条合成数据进行了系统分析（如图1所示），首次证明：在缺乏强制性人工验证的情况下，多代自我训练循环会导致病理多样性迅速丧失、诊断可靠度急剧降低，且医师评估也证实了临床效用的退化。

研究同时提出了可融入现有临床工作流程的缓解策略，为AI全面进入医疗领域前提供了安全操作指引。

• 论文标题： AI-generated data contamination erodes pathological variability and diagnostic reliability
• 论文链接： https://arxiv.org/abs/2601.12946

图1：AI生成数据污染导致的病理多样性丧失、诊断安全性下降现象及缓解方法

现实困境：医疗AI生成普及背后的隐形危机

人工智能正在重塑全球医疗文档系统，大型语言模型已被广泛应用于临床报告、出院小结、电子健康档案等场景，AI辅助诊断日趋普及。然而，其中潜藏的风险在于：原本依靠人工建立的医疗数据库正被大量AI生成内容所替代，并持续存入诊疗记录，进而成为下一代AI模型的训练数据，形成一个“生成-训练-再生成”的自循环结构。

在其他领域，自我训练循环已被证明会导致“模型退化”，即输出多样性与保真度降低。而医学领域的特殊性使该问题的危害尤为严重。医学诊断在很大程度上依赖于对罕见病、非典型临床表现及分布尾部细微异常的识别，这些信息的轻微流失即可造成系统性诊断盲区，增加漏诊风险，加剧医疗不公，影响疾病监测。更严峻的是，当前医疗AI的评价标准多侧重于表面语言质量，而缺乏对诊断准确性的考量，导致此类模型与应用的退化难以被常规监测发现。

核心发现：多种任务下性能全面退化，虚假信心掩盖致命漏洞

研究团队基于216,307份放射学报告、790份临床笔记、1000份眼科病历及9781张胸部X线片开展了多任务实验。结果表明，AI生成数据污染导致的模型性能退化乃至失效，并非单一数据类型或临床任务所致，而是贯穿于临床文本生成、视觉-语言放射学报告生成及医学图像合成这三类真实临床任务中。采用多种代表性模型架构的实验均显示类似的退化逻辑：自我训练循环导致病理多样性丧失与诊断可靠度降低，同时被虚假的高预测信心所掩盖。为评估研究结果的临床相关性，团队对AI生成输出进行了结构化审查与编辑，并引入了医师评估环节。

图2：AI生成数据污染导致临床笔记语言多样性丧失与临床知识退化

AI生成的临床文本隐患：词汇与知识的双重流失及叙事碎片化

研究团队首先利用多种临床文档与AI模型架构，探究使用合成临床文本进行自我训练是否会导致语言模型性能下降。图2结果显示，经过四代自我训练后，模型即出现灾难性退化。放射学报告“印象”部分的词汇量从约12,078个锐减至约200个，降幅达98.9%；独特医学术语减少66%，报告呈现明显的公式化趋势。类似结论在更广泛的临床文书（如790份i2b2临床数据库笔记）中同样成立。随着AI模型对自身合成数据的信心不断增强，其真实医疗语言能力却降至原先的四分之一，这为医疗AI部署带来严重风险——虚假的高信心可能掩盖患者文书记录中的重大失误。

图3：AI生成数据污染导致基于视觉-语言模型的放射学报告生成出现语言多样性丧失与临床知识退化

视觉-语言报告：图像锚定失效，虚假安心率激增

在医学影像生成报告的视觉-语言任务中，语言退化现象依然存在。研究使用Swin-Transformer、Llama-2等视觉语言模型（如R2GenGPT），以真实胸部X线片作为输入，但仅使用合成报告进行训练。图3结果表明，即使输入为真实图像，模型仍出现严重退化：报告唯一性从96.2%骤降至0.9%，词汇量从8,186个锐减至94个，降幅达98.9%。

更危险的是，虚假安心率急剧上升。当存在危及生命的病理情况时，模型错误输出“无急性发现”的比例从13.3%上升至40.3%，而模型自身却对此保持高置信度。这种具有临床危险性的输出结果，无法满足患者的诊疗需求。

图4：AI生成数据污染导致医学图像合成出现视觉质量下降、病理表征失真及人口统计学偏差增大

医学图像合成：质量退化、偏见放大与弱势人群代表性缺失

此外，AI生成的合成医学影像正被日益广泛地用于研究、产品开发等领域，以扩充训练数据集或实现隐私保护下的数据共享。然而，当这些合成影像被用于训练后续AI模型时，生成的影像难以反映真实患者人群的多样性。为探究影像生成是否会出现与文本模型类似的退化模式，研究团队在多轮自我训练循环中，使用胸部X光片训练AI影像生成模型。实验结果（图4）表明，由AI合成数据污染引发的视觉质量下降、病理表征扭曲及人口统计学偏差放大等问题均会加剧。

纳入医生评估环节，提出三种策略应对AI生成困境

为评估研究结果的临床相关性，团队对AI生成输出进行了结构化审查与编辑，并通过引入医师评价环节证实了临床效用的退化。同时，研究系统验证了三种应对AI数据污染导致模型退化的策略：
1. 真实数据混合训练：作为基础方案，当真实数据占比达到75%时，可较好保持病理多样性、语言保真度，并有效减少人口统计学偏差。
2. 质量感知过滤：在真实数据有限的情况下，可作为增效补充手段提高数据利用效率，但无法替代高比例真实数据的作用。
3. 单纯扩增合成数据：该方法不仅无效，反而会加速模型退化、加重性别偏见，证明数据数量无法弥补质量缺陷。

结论与展望

研究团队认为，应将数据溯源作为医疗AI部署的强制性政策要求，并建立强制人工检验制度。仅依靠自愿监督是不够的——随着临床AI应用规模扩大，严格机械验证的经济可行性将越来越低。若缺乏制度性约束，医疗系统将面临污染未来患者数字生理数据的风险。如果没有政策强制的溯源机制，生成式AI的部署可能危及其赖以生存的医疗数据生态系统，进而引发安全问题。

关注“鲸栖”小程序，掌握最新AI资讯