空间结构
-
颠覆认知：扩散模型表征对齐中，空间结构竟比全局语义更重要
在扩散模型的训练优化领域，表征对齐（REPA）技术自去年十月问世以来，一直被视为加速扩散Transformer训练的关键突破。该方法通过将预训练视觉编码器的表征蒸馏为中间扩散特征来指导生成式训练，显著提升了训练效率。然而，一个根本性问题长期悬而未决：对于生成任务而言，目标表征的哪个维度更为关键？是编码器捕获的全局语义信息（通常以ImageNet-1K分类准确…
在扩散模型的训练优化领域，表征对齐（REPA）技术自去年十月问世以来，一直被视为加速扩散Transformer训练的关键突破。该方法通过将预训练视觉编码器的表征蒸馏为中间扩散特征来指导生成式训练，显著提升了训练效率。然而，一个根本性问题长期悬而未决：对于生成任务而言，目标表征的哪个维度更为关键？是编码器捕获的全局语义信息（通常以ImageNet-1K分类准确…
