推理加速

阿里智能引擎团队推出2步生成方案：5秒产出4张2K图，速度提升40倍 AI生成一张图片，你愿意等多久？ 当主流扩散模型仍在迭代中让用户等待时，阿里智能引擎团队实现了突破性的加速——仅需5秒钟，即可生成4张2K级高清大图。 该方案针对最新的Qwen开源模型，将生成所需的前向计算步数从80-100步大幅压缩至2步，速度提升达40倍。这意味着，原本需要近一分钟生成…

关键词：VLCache、视觉语言模型（VLM）、KV缓存复用、动态重计算、推理加速、精度保留 你有没有遇到过这样的场景：用 AI 工具连续询问同一张图片的不同问题时，每次都要等待好几秒才能得到回复？明明图片没有变，模型却要重复处理整幅图像，造成大量冗余计算。 VLCACHE: Computing 2% Vision Tokens and Reusing 98…

腾讯微信 AI 团队提出 WeDLM（WeChat Diffusion Language Model），通过在标准因果注意力下实现扩散式解码，在数学推理等任务上实现相比 vLLM 部署的 AR 模型 3 倍以上加速，低熵场景更可达 10 倍以上，同时保持甚至提升生成质量。 引言 自回归（AR）生成是当前大语言模型的主流解码范式，但其逐 token 生成的特性…

在2025年末，一个全新视频生成加速框架的开源，宣告了“等待数分钟才能生成一个视频”的时代已经终结。 这个框架正是清华大学TSAIL团队与生数科技联合发布的TurboDiffusion。 其加速效果极为显著：在几乎不影响生成质量的前提下，主流视频生成模型在单张RTX 5090上生成5秒720p视频的速度可提升约200倍，同时一个5秒480p视频的生成时长能被…

清华联手生数开源TurboDiffusion：单卡2秒生成视频，速度提升200倍 现在，生成一个视频可能比你刷视频还要快。 一个开源新框架，能让视频生成在保证质量的情况下，最高提速200多倍，并且仅需单张显卡即可实现。 以1.3B参数、480P分辨率的模型为例，在单张RTX 5090上生成一段5秒视频，原始方法需要约184秒。而采用新框架后，时间缩短至1.9…

在AIGC技术迅猛发展的浪潮中，3D内容生成正成为人工智能领域的重要前沿。以TRELLIS为代表的3D生成模型，通过扩散过程逐步构建三维几何结构，其生成质量已取得显著进步。然而，这类模型普遍面临一个核心挑战：生成过程缓慢且计算密集。复杂的去噪迭代与庞大的体素计算，使得生成一个高质量3D资产往往耗时数十分钟甚至数小时，严重制约了其在实时应用、游戏开发、影视制作…

传统RAG为何低效：冗余与延迟的根源 传统检索增强生成（RAG）流水线通常将检索到的多个文本片段直接拼接，作为上下文输入给大语言模型。然而，这些片段之间往往缺乏紧密的语义关联，导致模型在处理时需要为大量无关内容计算注意力权重。这不仅浪费了宝贵的计算资源，更关键的是，模型将大量时间耗费在了跨片段（cross-chunk）的、近乎无效的注意力计算上，效率低下。 …