FPGA加速器
-
150美元FPGA平台实现30B MoE大模型边缘推理,18 token/s解码速度突破成本性能极限
关键词: FPGA 加速器、混合专家模型(MoE)、边缘部署、低成本推理、GEMV 优化 以150美元物料成本和18 token/s的解码速度,FPGA在大语言模型边缘部署领域取得了关键性突破。 在深度学习硬件加速领域,FPGA的定位一直较为特殊。它既不具备GPU那样统治训练市场的极致算力密度,也难以像ASIC那样在特定场景下实现终极能效。长期以来,FPGA…