晶圆级系统

关键词：晶圆级系统、大语言模型推理、FlatAttention 数据流、片上集合通信、软硬协同设计 随着大语言模型（LLM）推理的序列长度急剧增长以及混合专家（MoE）架构的普及，注意力（Attention）算子已成为制约系统整体吞吐量的核心瓶颈。传统的优化手段多局限于算法改进或硬件带宽升级等单一维度。 图 1：(a) 大语言模型在预填充与解码阶段的浮点运算…