LenVM

Token是现代自回归模型中最基础的计算单元。每生成一个token，都意味着一次前向传播、一笔KV缓存开销、一段延迟累积和一定的能耗成本。随着长链推理（long-CoT）和智能体工作流（agentic workflow）的普及，生成长度直接成为两个关键因素的核心变量：它既是推理成本的决定性因素，也深刻影响着推理质量——更多的token意味着更广阔的思考空间，…