超长上下文推理

关键词：SGLang、流水线并行、超长上下文推理、动态分块、分布式推理 本文聚焦大语言模型（LLM）向万亿参数与超长上下文演进时的推理基础设施瓶颈，提出 SGLang 优化版流水线并行（PP）方案。 Pipeline Parallelism in SGLang: Scaling to Million-Token Contexts and Beyond htt…