大模型推理

关键词： FlashInfer、MLSys26、高性能推理、AI 计算、深度学习 一行行精简的 CUDA 代码，将在 NVIDIA 最新 Blackwell B200 GPU 上展开一场关于性能与效率的终极较量。 2026 年 1 月 22 日，一项面向全球 AI 开发者的顶级技术挑战——MLSys 2026 FlashInfer AI 内核生成竞赛正式拉开…

在 LLM 时代，思维链（CoT）已成为解锁模型复杂推理能力的关键技术。然而，CoT 的冗长问题一直困扰着研究者——生成大量的中间推理文本步骤，带来了巨大的计算开销和显存占用，严重制约了推理效率。 为了解决这个问题，研究界近期尝试了「隐式 CoT」（Implicit CoT），即让模型在内部隐状态中完成推理，而不输出具体文本。这种方法虽然速度快，却是一个「黑…

如何迫使 AI 自我辩驳，揪出错误推理，产出更锐利、更可靠的答案 绝大多数用户现在及未来都将通过网页与 AI 交互。他们唯一的工具是浏览器，结果完全取决于他们能写出的提示词。因此，多数人在使用先进 AI 工具时感到隐隐的失望，也就不足为奇。 你提出一个严肃的问题。AI 的回应自信、清晰、结构完备，乍看之下相当出色。但几分钟后，你开始觉得哪里不对劲——或许是漏…

1月8日，硅谷传奇风险投资家、a16z联合创始人Marc Andreessen以一场长达80分钟的播客访谈，发表了其对人工智能革命的深度见解。这位曾以《软件正在吞噬世界》一文定义时代的投资人，以其一贯的宏观视角，剖析了全球AI格局的现状与未来。 访谈中，Marc Andreessen首先对AI革命的进程给出了极为乐观的评价。他认为，AI的传播速度远超互联网，…

如果 AI 工具早一点出现，我们的很多工作会不会提前几年完成？ 近日，整个科技圈都在感叹 AI 工具带来的效率提升。一些硅谷 AI 大厂工程师现身说法，表示在使用了 AI 工具后，项目完成时长被大幅压缩。 谷歌首席工程师、Gemini API 负责人 Jaana Dogan 分享了她使用智能体的经历。有的人甚至认为，如果在读博时就有 Claude Code、…

用过 vLLM 的人都知道，它功能强大，但上手门槛不低。命令行参数繁多，容器配置复杂，生产部署更是令人头疼。 今天介绍的开源项目 vLLM Playground 正是为了解决这些问题而生。它提供了一个可视化的 vLLM 管理界面，让大模型的部署和使用变得简单直观。 真正的零配置 最便捷之处在于你无需手动安装 vLLM。只需打开 Web 界面，点击“Start…

智谱开源 GLM-4.7 智谱 GLM-4.7 正式发布并官宣即将开源。 在 LiveCodeBench 和 Code Arena 等多个权威榜单中，它取得了国产第一、开源第一的成绩。其综合编程能力已直逼甚至在某些维度超越了 Claude 4.5 Sonnet。 近期，智谱已向港交所递交招股书，冲击全球大模型第一股。这表明国产大模型在编程这一核心赛道上，已具…

当Agent应用加速，推理系统如何承接真实负载？ 当Agent在应用侧不断加速，推理系统能否承受随之而来的真实负载，正在成为行业关注的焦点。 这是12月20日在杭州举办的SGLang AI 金融 π 对 活动中，被反复提及的核心背景。 在这场聚焦大模型推理效率的活动中，讨论焦点超越了Agent的概念热度，直指推理系统在真实负载下面临的工程挑战：高并发请求、长…

我们所研究的优化方法累计实现了高达 589%的性能提升 ，并已将相关内核与框架作为开源项目贡献（ ibm.biz/vllm-ibm-triton-lib ）。最终，我们开发的高度优化内核已成为 vLLM 中 AMD 部署的默认注意力后端。 关键词：Triton、Attention Kernel 、Portability 、Large Language Mod…

关键词：大型语言模型、多 GPU 分布式执行 、 细粒度融合 、三税分析框架 、Triton、 跨 GPU 通信 Eliminating Multi-gpu Performance Taxes: A Systems Approach to Efficient Distributed LLMs https://arxiv.org/pdf/2511.02168v…