大模型推理

关键词： FlashInfer、MLSys26、高性能推理、AI 计算、深度学习 一行行精简的 CUDA 代码，将在 NVIDIA 最新 Blackwell B200 GPU 上展开一场关于性能与效率的终极较量。 2026 年 1 月 22 日，一项面向全球 AI 开发者的顶级技术挑战——MLSys 2026 FlashInfer AI 内核生成竞赛正式拉开…

在 LLM 时代，思维链（CoT）已成为解锁模型复杂推理能力的关键技术。然而，CoT 的冗长问题一直困扰着研究者——生成大量的中间推理文本步骤，带来了巨大的计算开销和显存占用，严重制约了推理效率。 为了解决这个问题，研究界近期尝试了「隐式 CoT」（Implicit CoT），即让模型在内部隐状态中完成推理，而不输出具体文本。这种方法虽然速度快，却是一个「黑…

如何迫使 AI 自我辩驳，揪出错误推理，产出更锐利、更可靠的答案 绝大多数用户现在及未来都将通过网页与 AI 交互。他们唯一的工具是浏览器，结果完全取决于他们能写出的提示词。因此，多数人在使用先进 AI 工具时感到隐隐的失望，也就不足为奇。 你提出一个严肃的问题。AI 的回应自信、清晰、结构完备，乍看之下相当出色。但几分钟后，你开始觉得哪里不对劲——或许是漏…

关键词：GPU 多租户、LLM 服务、SLO 合规、PCIe 感知放置、动态 MIG、TTFT 在如今大模型（LLM）服务无处不在的时代，无论是智能助手、代码生成还是实时翻译，用户都期望获得快速、稳定的响应。然而，在共享的 GPU 集群上部署这些服务时，一个普遍而棘手的问题悄然浮现——“吵闹的邻居”效应。 想象一下，你正在参加一场重要的视频会议，而隔壁却在装…

MIT革命性突破：RLM技术让大模型零改动解锁千万级上下文，推理性能飙升580倍 让大模型轻松处理比自身上下文窗口长两个数量级的超长文本！ MIT CSAIL研究团队提出了一种名为递归语言模型（RLM） 的长文本处理新方法，旨在解决“上下文腐烂”问题。该方法无需修改模型架构或升级模块设计，即可让GPT-5、Qwen-3等顶尖模型具备处理千万级Token超长文…

关键词：多核NPU、LLM推理、NpuSim模拟器、张量并行、内存管理、PD分拆与融合 随着 ChatGPT、Qwen、DeepSeek 等大型语言模型（LLM）的广泛应用，AI 应用正在经历一场前所未有的变革。从智能助手、代码生成到自动驾驶，LLM 正在成为数字时代的“新电力”。然而，这场变革的背后隐藏着一个严峻的挑战：如何高效地运行这些庞然大物？ 传统的…

关键词：SGLang、流水线并行、超长上下文推理、动态分块、分布式推理 本文聚焦大语言模型（LLM）向万亿参数与超长上下文演进时的推理基础设施瓶颈，提出 SGLang 优化版流水线并行（PP）方案。 Pipeline Parallelism in SGLang: Scaling to Million-Token Contexts and Beyond htt…

关键词：T-MAN、查找表 、 低比特量化 、NPU 推理 、端到端优化 当大模型遇上手机 NPU，推理速度反而比 CPU 还慢？USTC、微软研究院、清华等研究团队提出统一查找表方案 ，同时解决速度、能耗与精度三大难题。 近年来，大语言模型（LLM）正逐步“入住”我们的手机、电脑等消费设备。无论是苹果的 Apple Intelligence、谷歌的 Gem…

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 256K文本预加载提速超50%，并解锁了1M上下文窗口。 美团LongCat系列发布全新稀疏注意力机制LoZA。 该技术旨在集中解决长文本任务中的理解与算力难题。 相比LongCat系列之前的全注意力MLA机制，LoZA仅改造了一半的核心模块，却将模型的长文本处理能力从256K扩展到1M，同时显著提升了解…