无需重训的视觉革命：PH-Reg自蒸馏框架如何高效消除ViT密集特征伪影

在计算机视觉领域，Vision Transformers（ViTs）凭借其强大的全局建模能力，已成为图像分类、目标检测等任务的主流架构。然而，近期研究发现，ViT模型在生成密集特征图时，会出现与局部语义不一致的伪影（artifact），这些伪影会严重削弱模型在语义分割、深度估计等需要高空间精度的下游任务中的性能表现。传统解决方案通常需要在模型架构中引入register tokens并进行全量重训，这不仅消耗大量计算资源，还可能导致预训练知识的丢失。

香港大学研究团队提出的PH-Reg（Post Hoc Registers）方法，为这一挑战提供了创新性的解决方案。该方法的核心在于：无需数据标注、无需全量重训，仅通过测试时增强与自蒸馏的巧妙结合，就能高效去除ViT密集特征中的伪影。论文共同第一作者陈寅杰、颜子鹏在香港大学科研实习期间完成了这项研究，通讯作者Andrew F. Luo为香港大学助理教授。该工作已被NeurIPS 2025会议接受为Spotlight论文，体现了学术界对其创新价值的认可。

**伪影问题的本质与挑战**

伪影问题的根源在于ViT的注意力机制。虽然基于数据驱动的注意力赋予了ViT强大的表示能力，但在生成密集特征时，模型可能会产生与图像内容无关的噪声模式。这些伪影会破坏特征图的语义一致性，导致模型在需要精确定位的任务中表现不佳。更棘手的是，伪影并非静态存在——当图像经过平移、翻转等增强处理时，伪影的偏移方式与图像内容并不一致，这为去噪提供了理论依据，但也增加了技术难度。

传统方法如DVT（Dense Vision Transformer）需要存储高达1.4TB的神经场特征数据，并进行复杂的梯度优化，计算成本极高。而PH-Reg的创新之处在于，它完全避开了这些瓶颈，提出了一种轻量级、高效率的解决方案。

**PH-Reg的技术框架：两大核心创新**

PH-Reg框架包含两个关键技术模块：免训练去噪算法和自蒸馏策略。

1. **免训练去噪算法**：该算法基于一个关键观察——伪影对图像增强的响应与真实内容不同。通过对输入图像施加随机偏移、水平翻转等增强操作，算法可以分离出伪影成分，并在无需梯度反向传播的情况下，生成去噪后的密集特征。这种方法不仅计算效率高，而且完全避免了传统优化方法可能引入的过拟合风险。

2. **自蒸馏框架**：在获得去噪特征后，PH-Reg通过自蒸馏将知识传递给学生模型。学生模型仅在原有ViT架构基础上，以最小侵入性方式引入了register tokens。在蒸馏过程中，仅更新register tokens、卷积层、位置嵌入及最后一个Transformer模块的参数，其他预训练权重全部冻结。这种设计最大程度保留了原始模型的表征能力，同时以极低的参数量增长（可忽略不计）实现了伪影去除。

**实验验证：多任务性能全面提升**

研究团队在多个基准数据集和任务上对PH-Reg进行了系统验证，结果一致显示其卓越性能：

1. **开放词汇语义分割**：在VOC、COCO、ADE20K等八个主流数据集上，PH-Reg在七个数据集上的表现超越了MaskCLIP、SCLIP、NACLIP、ClearCLIP等先进方法。与DVT相比，PH-Reg为MaskCLIP和NACLIP带来了更显著的性能提升，证明了其方法优势。

2. **线性探测任务**：在语义分割任务中，PH-Reg为所有测试的ViT骨干模型带来了实质性增益。以CLIP模型为例，在VOC21数据集上的mIoU提升了5.04%，在ADE20K数据集上提升了3.64%。在深度估计任务中，同样观察到稳定的性能提升，且参数量增加微乎其微。

**效率优势：计算与存储的双重突破**

PH-Reg的核心效率优势体现在两个方面：

1. **训练时间大幅缩短**：由于无需基于梯度的神经场学习，PH-Reg采用单阶段蒸馏，训练时间比DVT节省超过58.9%。

2. **存储需求极低**：DVT需要存储1.4TB的中间特征数据，而PH-Reg可以实时计算所有蒸馏目标，全程无需额外存储空间。这种设计使得PH-Reg特别适合资源受限的应用场景。

**架构适配性与应用前景**

PH-Reg展现出优秀的架构适配性，可灵活应用于CLIP、DINOv2等不同ViT变体。这种即插即用的特性，使得现有预训练模型无需复杂改造就能获得性能提升，大大降低了部署门槛。

从技术演进角度看，PH-Reg的意义不仅在于解决了伪影问题，更在于为大规模视觉模型的高效微调提供了新范式。传统方法往往需要在性能与效率之间权衡，而PH-Reg通过巧妙的算法设计，实现了鱼与熊掌兼得。

**总结与展望**

PH-Reg框架代表了一种无需重训、即插即用的ViT模型优化新思路。它通过测试时增强与自蒸馏的结合，在无需数据标注的条件下，高效修复了现有预训练模型中的伪影问题，显著提升了密集特征的语义一致性。

展望未来，PH-Reg的方法论可能扩展到更多视觉任务乃至跨模态领域。其核心思想——通过分析模型在数据增强下的行为差异来识别并去除噪声——具有普遍的借鉴意义。随着视觉大模型规模的不断增长，这种轻量级、高效率的优化方法将变得越来越重要。PH-Reg不仅为当前模型性能提升提供了实用工具，更为下一代视觉智能系统的设计指明了方向。

关注“鲸栖”小程序，掌握最新AI资讯