专家混合模型

引言 过去几年，大规模稠密语言模型的扩展是推动大语言模型 (LLMs) 发展的主要动力。从早期如ULMFiT（约3000万参数）或GPT-2（15亿参数）等模型，到如今拥有数千亿参数的系统，其核心扩展思路始终遵循一个简单的范式： 数据越多 + 参数越多 = 性能越好 缩放定律进一步强化了这一趋势。然而，纯粹扩展稠密模型正面临严峻的现实瓶颈：* 训练成本呈指数…