边缘推理
-
腾讯开源Sherry三元量化方案：1.25bit登顶LLM边缘推理，3:4稀疏榨干硬件性能
关键词：三元量化、细粒度稀疏、3:4稀疏模式、权重陷阱、退火残余突触 大语言模型（LLM）的部署正面临一个根本性矛盾：模型规模持续扩大与终端硬件资源受限之间的矛盾。云端推理虽然强大，但数据隐私、网络延迟、服务成本等问题日益突出，将LLM推向边缘设备已成为必然趋势。 在众多模型压缩技术中，权重量化因其直接降低模型尺寸和计算开销而备受关注。然而，大多数现有量化方…
