参数高效微调
-
从参数微调到任务重编程：揭秘神经网络可重编程性如何重塑大模型适配范式
从模型重编程、参数高效微调，到大模型时代的提示调优、指令提示与上下文学习，研究者和从业者始终在探索一个核心问题：如何在尽量不修改模型参数的前提下，最大限度地复用预训练模型的能力？ 过去几年，这类方法在不同研究社区中以相对独立的形式快速发展——有的源于对抗鲁棒性与迁移学习领域，有的专注于下游任务适配，有的则成为大模型对齐与应用的基础工具。然而，这些看似分散的技…
-
FeRA：从频域第一性原理出发，实现扩散模型动态参数高效微调
在大模型时代，参数高效微调（PEFT）已成为将Stable Diffusion、Flux等大规模扩散模型迁移至下游任务的标准范式。从LoRA到DoRA，社区不断探索如何用更少的参数实现更好的适配。然而，现有微调方法大多采用“静态”策略：无论模型处于去噪过程的哪个阶段，适配器的参数都是固定不变的。这种“一刀切”的方式忽略了扩散生成过程内在的时序物理规律，导致模…
-
突破PEFT合并瓶颈：方向鲁棒性理论揭示与RobustMerge方案解析
在人工智能技术快速演进的浪潮中，多模态大模型已成为推动产业进步的核心引擎。然而，随着模型参数规模呈指数级增长，全量微调（Full Fine-Tuning, FFT）所需的海量计算资源已成为制约技术民主化的重要瓶颈。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术，特别是LoRA（Low-Rank Adaptati…
-
遥感模型微调技术演进：从全参数到混合范式的全景解析
近年来，在大数据与大模型的共同驱动下，遥感图像解译领域正经历着深刻的范式转变。传统上，研究重点多集中于模型结构本身的创新设计，然而随着计算资源的普及和预训练技术的成熟，业界逐渐转向「基础模型 + 微调」这一更具效率和应用潜力的新范式。这一转变的核心在于，通过利用在大规模通用数据上预训练的模型作为强大的特征提取器，再针对特定下游任务进行精细化调整，能够在显著降…
