模型合并
-
突破PEFT合并瓶颈：方向鲁棒性理论揭示与RobustMerge方案解析
在人工智能技术快速演进的浪潮中，多模态大模型已成为推动产业进步的核心引擎。然而，随着模型参数规模呈指数级增长，全量微调（Full Fine-Tuning, FFT）所需的海量计算资源已成为制约技术民主化的重要瓶颈。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术，特别是LoRA（Low-Rank Adaptati…
在人工智能技术快速演进的浪潮中，多模态大模型已成为推动产业进步的核心引擎。然而，随着模型参数规模呈指数级增长，全量微调（Full Fine-Tuning, FFT）所需的海量计算资源已成为制约技术民主化的重要瓶颈。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术，特别是LoRA（Low-Rank Adaptati…
