从静态3D到动态4D的演进挑战
以Visual Geometry Transformer（VGGT）和DUSt3R为代表的3D基础模型在静态场景重建领域已展现出卓越性能。然而，当面对包含移动物体（如行人、车辆）的动态4D场景时，这些模型的性能往往显著下降。动态物体的运动不仅会干扰背景几何建模，还会导致严重的相机位姿漂移问题。
当前解决方案主要面临两大挑战：一是计算或训练成本高昂，通常依赖繁重的测试时优化或需要在大规模4D数据集上进行微调；二是系统复杂性增加，往往需要引入光流、深度估计或语义分割等额外模块作为先验信息。
VGGT4D：无需训练的4D感知框架
香港科技大学（广州）与地平线研究团队提出的VGGT4D框架，旨在探索一个核心问题：能否在不进行额外训练的前提下，直接从预训练的3D基础模型中挖掘出4D感知能力？该框架通过深入分析VGGT的内部机制，发现并利用了隐藏在注意力层中的运动线索。
注意力机制中的潜在运动线索
研究团队对VGGT的注意力机制进行可视化分析，发现了一个关键现象：网络的不同层级对动态区域表现出截然不同的响应模式。浅层网络倾向于捕捉语义上显著的动态物体，而深层网络则逐渐抑制几何不一致的区域。这一发现表明，VGGT虽然在静态假设下训练，但其内部实际上已隐式编码了丰富的动态线索。
然而，直接利用标准注意力图（QKT）效果并不理想，因为它混合了纹理、语义和运动信息，导致信噪比降低，使得基于极线假设的方法在VGGT架构上失效。
基于Gram相似度的特征挖掘技术
VGGT4D提出了一套无需训练的注意力特征挖掘与掩膜精修机制。研究团队首先分析了标准注意力图的局限性：由于查询（Query）和键（Key）向量来自异构的投影头，其特征分布存在天然的分布间隙，导致交叉注意力主要响应语义对齐，而运动引起的微小特征扰动容易被掩盖。
为解决此问题，VGGT4D引入自相似性Gram矩阵作为替代方案。通过在同构潜在分布内计算相似度，运动引起的方差成为主导信号。模型通过在时间窗口内聚合不同层级的统计矩（均值与方差），构建了动态显著性场。
投影梯度感知精修与早期掩膜策略
为解决注意力图分辨率不足导致的边界模糊问题，VGGT4D引入了投影梯度感知精修技术。该方法定义3D点在特定视点下的几何投影残差，该残差关于3D坐标的梯度包含了极强的边界信息。由于该梯度依赖于投影雅可比矩阵和深度图的空间梯度，在动态物体边缘处会呈现显著的高频响应。
在推理阶段，VGGT4D采用了一种早期阶段干预策略：仅在浅层抑制动态标记的键向量。这种设计既在早期切断了动态信息对深层几何推理的影响，又保证了深层Transformer块依然在其预训练的特征流形上运行，从而确保了位姿估计的鲁棒性。
性能评估与实验结果
研究团队在动态物体分割、相机位姿估计和4D点云重建三大核心任务上，于六个基准数据集进行了全面评估。
在动态物体分割任务中，VGGT4D在DAVIS-2016和DAVIS-2017数据集上均达到最优性能。值得注意的是，即使没有经过任何4D特定训练，该方法仅基于预训练的VGGT模型即可取得优异结果。定性分析显示，VGGT4D生成的掩码更加准确，边界更加清晰，验证了研究假设：VGGT的Gram相似度统计信息中嵌入了丰富的、可提取的运动线索。
在相机位姿估计任务中，原始VGGT已展现出强大的基线性能，优于许多专门的4D重建方法。VGGT4D在所有数据集上持续改进了这一基线，例如在VKITTI数据集上，VGGT4D的绝对轨迹误差仅为0.164，显著优于对比方法。
该研究为3D基础模型向4D场景的扩展提供了新的技术路径，展示了从预训练模型中挖掘隐含动态信息的潜力，为动态场景理解开辟了无需额外训练的高效解决方案。
关注“鲸栖”小程序，掌握最新AI资讯
本文由鲸栖原创发布，未经许可，请勿转载。转载请注明出处：http://www.itsolotime.com/archives/4493