帕累托最优
-
端侧LLM硬件协同设计新突破:Roofline建模揭示帕累托最优架构,推理效率提升19.42%
关键词:端侧大语言模型、Roofline 建模、软硬件协同设计、缩放定律、帕累托最优、架构搜索 第一部分:基于 Roofline 建模的端侧大语言模型硬件协同设计缩放律 端侧大语言模型的部署长期面临模型精度与推理效率的核心权衡。现有模型多沿用通用架构范式,缺乏与底层硬件特性深度协同的系统性缩放规律与设计准则。 本文针对这一痛点,基于 Roofline 性能建…