MoEBlaze

关键词： MoEBlaze 、内存墙、MoE 训练 、索引化路由 在当今大模型浪潮中，参数规模已突破万亿，训练成本与内存压力成为制约模型规模继续扩大的关键瓶颈。混合专家模型（Mixture-of-Experts, MoE） 因其能够以稀疏激活的方式实现万亿参数级别的模型训练，已成为大规模语言模型的主流架构之一。 然而，MoE 的稀疏性在降低计算密度的同时，也…