M/G/c队列

关键词： LLM 推理、集群规划、成本悬崖、压缩即路由、M/G/c 队列 当我们在讨论大模型推理时，我们究竟在关注什么？是每秒处理的 Token 数（TPS）？是首字延迟（TTFT）？还是那令人瞩目的 GPU 云服务器账单？ 如果你曾管理或规划过 LLM 推理集群，很可能面临过一个“房间里的大象”：我们的集群是为最坏情况设计的，但绝大多数请求从未触及那个边界…