Video4Edit：将图像编辑视为退化时序过程，以1%数据实现SOTA性能

在AI图像编辑领域，高质量训练数据的稀缺一直是制约模型性能与泛化能力的关键瓶颈。传统基于扩散模型的编辑方法通常依赖大规模三元组数据（指令-源图像-编辑后图像）进行监督训练，这不仅带来高昂的数据采集与标注成本，也难以覆盖用户多样化的编辑意图。更根本的是，现有方法往往陷入“结构保持”与“纹理修改”的权衡困境：过度强调结构一致性会限制编辑的灵活性，而追求大幅语义修改又容易导致几何失真或内容扭曲。

针对这一挑战，百度研究团队提出了一种革命性的理论框架：将图像编辑重新定义为一种退化的时间过程（Degenerate Temporal Process）。其核心思想在于，视频本质上是图像序列在时间维度上的演化，如果将源图像视为视频的第0帧、编辑后图像视为第1帧，那么图像编辑任务便可自然建模为一个极短的2帧视频生成问题。这一视角转换使得模型能够从视频中抽取连续帧作为无监督训练样本，从而极大缓解数据依赖问题。

具体而言，Video4Edit创新性地利用了视频预训练模型中蕴含的“单帧演化先验”（Single-Frame Evolution Prior）。视频生成模型在大量视频数据上预训练后，已学习到强大的时序一致性约束与帧间演化规律，这些先验知识天然编码了结构保持与语义变化之间的平衡机制。研究团队通过三个关键技术设计实现了从视频生成到图像编辑的高效知识迁移：

第一，时间退化建模。将编辑过程建模为从t=0（源图像）到t=1（编辑后图像）的时序演化，使得原本需要显式学习的结构保持约束，转化为视频生成中成熟的时间注意力机制（Temporal Attention）。该机制天然倾向于在相邻帧之间保持高频细节和几何结构，从而在编辑过程中有效维护图像的主体轮廓与空间关系。

第二，先验知识迁移。在潜在空间中，视频模型学习到的z_t→z_{t+1}转移概率分布可通过文本指令进行条件化引导，从而将通用的时序演化能力重新导向为特定的编辑意图。这种设计实现了参数的高效复用：模型主要学习编辑意图的对齐，而非从零开始学习图像生成能力，显著降低了训练复杂度。

第三，数据效率优化。从信息论视角看，引入视频先验极大地降低了假设空间的熵，提供了更强的泛化能力。相比于从静态图像对中学习复杂的非线性映射，基于时序演化的微调具有更高的样本效率，这解释了为何Video4Edit仅需约1%的监督数据即可达到与全量数据训练模型相当的性能。

在效果验证方面，Video4Edit在风格迁移、物体替换、属性修改等多种编辑任务上进行了系统性评估。例如，在风格迁移任务中，模型能够准确捕捉目标风格特征（如油画、赛博朋克），同时有效保留源图像的结构信息；在物体替换任务中（如将“猫”替换为“狗”），实现了自然的语义融合与高质量的边缘处理，无明显伪影。对于复杂自然语言指令，模型也展现出优秀的语义理解与对齐能力。

以下展示了不同编辑指令下的生成效果：

Instruction: Replace the text ‘TRAIN’ with ‘PLANE’.（将英文文本“训练”替换为“飞机”）

Instruction: Restore and colorize this old photo in high definition.（以高清晰度还原和着色这张老照片）

Instruction: Remove his beard.（剃掉他的胡子）

Instruction: Replace background with snowy mountain.（将背景换成雪山）

Instruction: Erase the stop sign.（清除停车标志）

Instruction: Transform to sketch style.（转换为草图样式）

在定量评估中，Video4Edit在CLIP Score（语义对齐质量）和Structure Score（结构保持能力）等关键指标上，与使用全量数据的基线方法（如MagicEdit）性能相当，部分场景下甚至实现提升。这证实了通过视频先验迁移，可显著降低对监督数据的依赖，同时保持高质量的编辑效果。

[[IMAGE_6]]

从更宏观的AI发展视角看，Video4Edit的突破不仅在于技术性能，更在于其提供了一种全新的跨模态知识迁移范式。传统方法往往局限于单一模态（如图像）的数据利用，而该研究通过时序建模打通了视频与图像之间的知识壁垒，为多模态协同训练开辟了新路径。这种范式对资源受限场景（如边缘计算、移动端部署）尤其具有价值，有望推动图像编辑技术向更高效、更普惠的方向演进。

[[IMAGE_8]]

当然，该方法仍存在一定局限性：其一，其性能高度依赖视频预训练模型的质量，若先验知识不足可能导致编辑偏差；其二，对于极端复杂的编辑指令（如涉及多物体交互、场景重构等），模型仍需进一步优化。未来研究可探索更精细的时序建模策略，或结合强化学习实现编辑过程的动态调整。

总体而言，Video4Edit通过将图像编辑重构为退化时序过程，以不足1%的监督数据实现了SOTA级别的性能，为突破数据瓶颈提供了切实可行的解决方案。这一工作不仅推动了图像编辑技术的发展，也为AI跨模态学习提供了重要参考，其方法论有望延伸至视频编辑、3D生成等相关领域，具有广阔的产业应用前景。

论文题目：Video4Edit: Viewing Image Editing as a Degenerate Temporal Process

arXiv链接：https://arxiv.org/abs/2511.18131

项目主页：https://shalfun.github.io/video4edit/

[[IMAGE_10]]

— 图片补充 —