参数高效微调
-
FeRA：从频域第一性原理出发，实现扩散模型动态参数高效微调
在大模型时代，参数高效微调（PEFT）已成为将Stable Diffusion、Flux等大规模扩散模型迁移至下游任务的标准范式。从LoRA到DoRA，社区不断探索如何用更少的参数实现更好的适配。然而，现有微调方法大多采用“静态”策略：无论模型处于去噪过程的哪个阶段，适配器的参数都是固定不变的。这种“一刀切”的方式忽略了扩散生成过程内在的时序物理规律，导致模…
-
突破PEFT合并瓶颈：方向鲁棒性理论揭示与RobustMerge方案解析
在人工智能技术快速演进的浪潮中，多模态大模型已成为推动产业进步的核心引擎。然而，随着模型参数规模呈指数级增长，全量微调（Full Fine-Tuning, FFT）所需的海量计算资源已成为制约技术民主化的重要瓶颈。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术，特别是LoRA（Low-Rank Adaptati…
