自监督学习

尽管扩散模型与流匹配方法已将文本到图像生成推向了更高的视觉质量与可控性，但它们通常在推理时需要数十步网络迭代，这限制了其在需要低延迟或实时响应的应用场景中的潜力。 为了降低推理步数，现有方法通常依赖于知识蒸馏：首先训练一个多步的教师模型，然后将能力迁移到少步的学生模型。然而，这条路径的代价同样显著——它既依赖于预训练的教师模型，又引入了额外的训练开销，并且在…