Prefill-as-a-Service

长上下文推理新突破：Kimi提出PrFaaS范式，实现跨机房调度 将长上下文能力做到极致的Kimi，近日联合清华大学团队，在大模型推理架构上取得关键进展。 他们提出了一种名为 Prefill-as-a-Service（PrFaaS） 的全新范式，即“预填充即服务”。其核心突破在于，首次实现了 KV Cache 能够跨数据中心进行传输，从而将大模型推理中的 P…