大模型推理

近年来，大模型文本检索（LLM-based Text Retrieval）技术发展迅猛，主流的LLM Embedding模型参数量普遍在7B以上，在相关性搜索性能提升的同时，也带来了部署成本的大幅增长。 传统的LLM Embedding模型通常采用对称式双塔结构，查询（Query）端和文档（Doc）端共享同一个完整的大语言模型。然而，一个长期被忽视的问题是：…

造芯片的还有高手？ 刚刚推出的一款最新芯片，直接冲上硅谷热榜。其峰值推理速度高达每秒 17000个token 。 这是什么概念？当前公认性能强大的Cerebras芯片，速度约为2000 token/s。这意味着新芯片的速度直接快了近 10倍 ，同时成本骤减20倍、功耗降低10倍。 这使大语言模型（LLM）真正进入了 亚毫秒级 的即时响应时代。实机效果如下： …

如果把人生看作一个开放式的大型多人在线游戏（MMO），那么游戏服务器在刚刚完成一次重大更新的时刻，规则改变了。 自 2022 年 ChatGPT 惊艳亮相以来，世界已经发生了深刻变化。在短短几年内，人工智能正从模仿语言的统计机器，迈向理解与操纵逻辑的思考系统。如果说早期的大语言模型更像是在进行高维概率空间中的词汇拼贴，那么新一代推理模型，则开始学会在生成之前…

想象一下，你让 AI 助手结合搜索工具探索一个复杂问题。它第一次探索时走错了方向，但第二次、第三次，它依然重复同样的错误探索路径。虽然你可能可以从最终得到的多次探索结果中挑选出一个勉强满意的答案，但是这既低效，也需要人工干预。这就是当前大多数深度搜索智能体面临的困境——它们无法「记住」之前的探索经验，每次都是从头开始，导致大量冗余搜索和资源浪费。 现有的深度…

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 256K文本预加载提速超50%，并解锁了1M上下文窗口。 美团LongCat系列发布全新稀疏注意力机制LoZA。 该技术旨在集中解决长文本任务中的理解与算力难题。 相比LongCat系列之前的全注意力MLA机制，LoZA仅改造了一半的核心模块，却将模型的长文本处理能力从256K扩展到1M，同时显著提升了解…

关键词：Blackwell、GPU、 Microbenchmark 、5th-generation Tensor Core 、 TMEM 本文工作量化了张量内存（TMEM）对矩阵密集型负载的影响，评估了硬件解压缩引擎（DE）的吞吐量及最优使用方式，通过新的tcgen05 PTX 指令分析了第五代张量核心的执行特性。 此外，还评估了 FP4 与 FP6 精度的…

近日，清华大学等机构的研究团队提出了 MARSHAL 框架。该框架利用强化学习，让大语言模型在策略游戏中进行自博弈（Self-Play）。实验表明，这种多轮、多智能体训练不仅提升了模型在游戏中的博弈决策水平，更将其推理能力有效泛化到了通用的多智能体系统中：在数学竞赛和专家级问答等一般推理任务中，显著提升了多智能体系统的整体表现。 论文标题：MARSHAL: …

R1论文暴涨至86页！DeepSeek向世界证明：开源不仅能追平闭源，还能教闭源做事！ 全网震撼！两天前，DeepSeek悄无声息地将R1的论文从原来的22页大幅更新至86页。这篇全新的论文证明，仅通过强化学习就能显著提升AI的推理能力。DeepSeek似乎在憋大招，甚至有网友推测，这种纯强化学习方法或许会出现在未来的R2版本中。 此次更新，将原始论文升级为…

关键词：VLCache、视觉语言模型（VLM）、KV缓存复用、动态重计算、推理加速、精度保留 你有没有遇到过这样的场景：用 AI 工具连续询问同一张图片的不同问题时，每次都要等待好几秒才能得到回复？明明图片没有变，模型却要重复处理整幅图像，造成大量冗余计算。 VLCACHE: Computing 2% Vision Tokens and Reusing 98…

关键词：#MPK、#LLM推理、#MegaKernel、#SM级任务图、#多GPU优化、#跨算子优化 MPK 作为首个自动 Mega Kernel 化多 GPU LLM 推理的编译器-运行时系统 ，以 SM 级 tGraph 打破核间壁垒，让跨算子 软件流水线与细粒度计算-通信重叠从理论走向实用；无需修改模型代码，仅需数行 PyTorch 集成，它即可在 A…