DistServe

解耦推理：从实验室概念到行业标准 2024年，由北京大学金鑫-刘譞哲团队、加州大学圣地亚哥分校Hao AI Lab等机构提出的DistServe系统，首次系统性地阐述了“解耦推理”理念。在短短一年多时间里，这一理念迅速从学术概念演变为行业标准，被NVIDIA、vLLM等主流大模型推理框架采纳，标志着AI推理架构正迈向“模块化智能”的新阶段。 如果说“摩尔定律…