大模型推理

VLA 模型正被越来越多地应用于端到端自动驾驶系统中。然而，VLA 模型中冗长的视觉 token 极大地增加了计算成本。现有的通用视觉 token 剪枝方法并非为自动驾驶场景设计，在实际应用中存在诸多局限性。 小鹏汽车联合北京大学计算机科学学院多媒体信息处理国家重点实验室发表论文《FastDriveVLA》，为自动驾驶 VLA 模型中的高效视觉 token …

关键词： Android、异构计算、模型量化、ResNet、YOLO、高通骁龙 当你使用手机的“拍照识物”功能时，是否遇到过画面卡顿？当直播应用的实时美颜效果延迟明显时，你是否好奇问题出在哪里？这些场景背后，都指向移动 AI 推理的核心挑战：如何在手机有限的硬件资源下，让AI模型（如图像分类、目标检测）既跑得快（低延迟），又算得准（高精度），同时还不费电（低…

腾讯微信 AI 团队提出 WeDLM（WeChat Diffusion Language Model），通过在标准因果注意力下实现扩散式解码，在数学推理等任务上实现相比 vLLM 部署的 AR 模型 3 倍以上加速，低熵场景更可达 10 倍以上，同时保持甚至提升生成质量。 引言 自回归（AR）生成是当前大语言模型的主流解码范式，但其逐 token 生成的特性…

随着多模态大语言模型（MLLM）的飞速发展，“Thinking with Images”范式已在图像理解和推理任务上取得了革命性突破——模型不再是被动接收视觉信息，而是学会了主动定位与思考。 然而，当面对包含复杂时序依赖与动态叙事的视频推理任务时，这一能力尚未得到有效延伸。现有的视频推理方法往往受限于对外部工具的依赖或预设的提示词策略，难以让模型内生出对时间…

用过 vLLM 的人都知道，它功能强大，但上手门槛不低。命令行参数繁多，容器配置复杂，生产部署更是令人头疼。 今天介绍的开源项目 vLLM Playground 正是为了解决这些问题而生。它提供了一个可视化的 vLLM 管理界面，让大模型的部署和使用变得简单直观。 真正的零配置 最便捷之处在于你无需手动安装 vLLM。只需打开 Web 界面，点击“Start…

文本提示图像分割（Text-prompted image segmentation）是实现精细化视觉理解的关键技术，在人机交互、具身智能及机器人等前沿领域具有重要的战略意义。该技术使机器能够根据自然语言指令，在复杂的视觉场景中定位并分割出任意目标。 然而，当前主流的技术路径，如基于监督式微调（Supervised Fine-Tuning, SFT）的方法，正…

近年来，大语言模型在文本生成的流畅度和长度上进步显著。然而，当面对真正复杂的推理任务——需要多路径探索、自我反思与交叉验证、以及在多条线索间进行综合与抉择时，传统的链式思维（Chain-of-Thought）方法便开始显得力不从心：它容易受早期判断误导、思维发散不足、自我纠错能力弱，并且其顺序生成的特性在效率上存在天然瓶颈。 北京通用人工智能研究院（BIGA…

关键词： NVFP4 、Four Over Six（4/6）、大型语言模型（LLM）、自适应块缩放 、低精度训练 、 后训练量化（PTQ） Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling 代码： https://github.com/mit-han-lab…

在2025年末，一个全新视频生成加速框架的开源，宣告了“等待数分钟才能生成一个视频”的时代已经终结。 这个框架正是清华大学TSAIL团队与生数科技联合发布的TurboDiffusion。 其加速效果极为显著：在几乎不影响生成质量的前提下，主流视频生成模型在单张RTX 5090上生成5秒720p视频的速度可提升约200倍，同时一个5秒480p视频的生成时长能被…

当前全球AI产业已从模型性能竞赛迈入智能体规模化落地的“生死竞速”阶段，“降本” 不再是可选优化项，而是决定AI企业能否盈利、行业能否突破的核心命脉。 在此大背景下，浪潮信息推出元脑HC1000超扩展AI服务器 ，将推理成本首次击穿至1元/每百万token 。 这一突破不仅有望打通智能体产业化落地“最后一公里”的成本障碍，更将重塑AI产业竞争的底层逻辑。 浪…