SDPO
-
Self-Distillation：大模型持续学习的破局之道与2026三大突破
2026年伊始，大模型领域的研究者们似乎达成了一种默契。翻开近期arXiv上备受关注的论文，一个词汇频繁出现：Self-Distillation（自蒸馏）。 近年来，基础模型在语言、视觉、机器人等领域取得了显著成功，为AI应用提供了强大支持。然而，在模型真正落地与长期使用的过程中，研究者们逐渐发现一个关键瓶颈：如何让模型在持续吸收新知识的同时，不遗忘已有的核…
2026年伊始，大模型领域的研究者们似乎达成了一种默契。翻开近期arXiv上备受关注的论文，一个词汇频繁出现：Self-Distillation（自蒸馏）。 近年来，基础模型在语言、视觉、机器人等领域取得了显著成功，为AI应用提供了强大支持。然而，在模型真正落地与长期使用的过程中，研究者们逐渐发现一个关键瓶颈：如何让模型在持续吸收新知识的同时，不遗忘已有的核…
