隐空间
-
思维链太长拖慢推理？把它「画」进隐空间！新框架RoT探索大模型隐空间推理新范式
在 LLM 时代，思维链（CoT）已成为解锁模型复杂推理能力的关键技术。然而，CoT 的冗长问题一直困扰着研究者——生成大量的中间推理文本步骤，带来了巨大的计算开销和显存占用，严重制约了推理效率。 为了解决这个问题，研究界近期尝试了「隐式 CoT」（Implicit CoT），即让模型在内部隐状态中完成推理，而不输出具体文本。这种方法虽然速度快，却是一个「黑…
在 LLM 时代，思维链（CoT）已成为解锁模型复杂推理能力的关键技术。然而，CoT 的冗长问题一直困扰着研究者——生成大量的中间推理文本步骤，带来了巨大的计算开销和显存占用，严重制约了推理效率。 为了解决这个问题，研究界近期尝试了「隐式 CoT」（Implicit CoT），即让模型在内部隐状态中完成推理，而不输出具体文本。这种方法虽然速度快，却是一个「黑…
