稀疏激活

一个拥有480亿参数的大模型，每次推理仅激活其中2.7B参数——稀疏率超过94%。在18个基准测试的平均表现中，它以更低的token消耗达到了与同级甚至更大模型相当或更优的准确率。这就是京东发布的JoyAI-LLM Flash。 论文指出，当前大语言模型面临两大交织挑战：token效率低下与计算成本高昂。JoyAI-LLM Flash正是为此而生——一个在5…