大模型推理

大模型 Agent 正从演示走向生产应用，面临着多轮推理、工具调用、长上下文记忆和并发会话等真实工作流的挑战。然而，许多看似先进的推理加速技术在落地时却可能失效：单步推理虽快，端到端性能反而下降；吞吐量虽高，高并发下却出现延迟抖动；上下文虽被压缩，Agent 却更容易迷失方向，导致交互回合数激增。 为此，华为诺亚方舟实验室与先进计算与存储实验室联合提出了 A…

无需数据重训，视频扩散模型线性化提速20倍：CVPR 2024新突破 视频生成已进入大规模时代，但随之而来的计算成本急剧攀升。生成一段10秒的视频，其token数量可超过5万，而模型核心的自注意力机制复杂度为O(n²)，导致推理过程极其缓慢，难以实用。 将自注意力替换为复杂度为O(n)的线性注意力，是理想的解决方案，但现实情况是：直接替换会导致模型生成质量严…

当大模型推理进入并行思考时代，一个关键问题随之浮现：在并行推理过程中，大量计算资源是否被浪费在了那些已无必要继续的思考路径上？ 为探究此问题，来自马里兰大学、圣路易斯华盛顿大学及北卡罗来纳大学教堂山分校的研究团队提出了 Parallel-Probe。该研究并未直接从算法设计入手，而是首先引入 2D Probing 技术，系统性刻画了在线并行推理的全局动态特性…

近日，Claude独立攻克了一项图论猜想，其成果被正式记录于一篇数学研究论文中。这一事件引发了算法领域泰斗、《计算机程序设计艺术》作者高德纳（Donald Knuth）的深度关注与思考，标志着生成式AI在自动推理与创造性问题求解方面达到了新的里程碑。 高德纳在斯坦福大学官网亲自发布了一篇题为《Claude’s Cycles》的原始论文，开篇即以“…

FAST-Prefill 并非简单的算法硬件映射，而是一个硬件-算法深度协同设计的范例。它基于 Flex-Prefill 算法的计算模式与数据流特征，定制了专用的数据通路与访存策略。这项工作不仅提供了一个实用的加速方案，更确立了一种方法论启示：针对特定工作负载，精巧的架构设计往往比通用算力的堆砌更为高效。 关键词：FPGA 加速、稀疏注意力、长上下文 LLM…

关键词：大语言模型、KV 缓存、强化学习、缓存驱逐、长上下文推理 自 Transformer 架构诞生以来，大型语言模型（LLMs）在自然语言处理领域取得了革命性进展。从文本生成到逻辑推理，从多轮对话到长文档理解，LLMs 的能力边界不断拓展。然而，模型性能的飞跃背后，是日益严峻的推理效率挑战——当处理长序列或交互式会话时，KV（Key-Value）缓存成为…

当前主流的搜索智能体（Agent）普遍存在一个效率瓶颈：其执行流程是严格串行的。以广泛采用的ReAct框架为例，其模式为 “思考→调用工具→等待结果→再思考……” 。在这种模式下，模型在等待搜索引擎返回结果时完全处于空闲状态，造成了大量的时间浪费。多轮交互中，延迟不断累积，严重影响了用户体验。 研究团队通过分析发现，在多跳问答等复杂任务中，这种“干等”的串行…

DeepSeek新框架DualPath：用闲置网卡加速智能体推理，突破I/O瓶颈实现近2倍性能提升 当业界普遍关注DeepSeek下一代模型V4的进展时，其研究团队与北京大学、清华大学的研究人员在ArXiv上联合发表了一篇论文，提出了一个全新的智能体推理框架：DualPath。 该框架旨在解决智能体长文本推理场景中的关键I/O瓶颈问题。其核心创新在于优化从外…

首个系统性研究：强化学习如何让3D模型学会推理？ 图像生成领域，强化学习（RL）已交出亮眼答卷。那么，在更具挑战性的3D生成领域，RL能否同样奏效？当GRPO等算法让大模型在数学、代码推理上实现质变时，一项开创性研究率先给出了答案——首个将强化学习系统性引入文本到3D自回归生成的工作 正式诞生，并已被CVPR 2026接收。该研究并非简单移植2D经验，而是针…

DeepSeek 联合北大清华发布 DualPath 框架：利用闲置网卡突破 Agent 推理 I/O 瓶颈，性能提升近 2 倍 当业界广泛关注 DeepSeek 的 GitHub 仓库，期待其下一代模型发布时，DeepSeek 与北京大学、清华大学的研究团队在 arXiv 上悄然发布了一篇论文，提出了一个全新的智能体推理框架：DualPath。 该框架的核…