长文本处理
-
清华RAM框架：大模型学会人类式精读略读，实现12倍推理加速与性能翻倍
RAM团队 投稿 量子位 | 公众号 QbitAI 让大模型像人类一样阅读！通过精读略读实现性能与效率的双重飞跃。 在长上下文场景中，Transformer架构的二次计算复杂度让推理速度急剧下降，而人类面对长文档时却能游刃有余——我们不会逐字阅读整本小说，而是对关键情节精读，对背景描述略读。 来自清华大学、鹏城实验室与阿里巴巴未来生活实验室的联合研究团队发现…
-
MIT革命性突破：RLM技术让大模型零改动解锁千万级上下文，推理性能飙升580倍
MIT革命性突破：RLM技术让大模型零改动解锁千万级上下文，推理性能飙升580倍 让大模型轻松处理比自身上下文窗口长两个数量级的超长文本！ MIT CSAIL研究团队提出了一种名为递归语言模型（RLM） 的长文本处理新方法，旨在解决“上下文腐烂”问题。该方法无需修改模型架构或升级模块设计，即可让GPT-5、Qwen-3等顶尖模型具备处理千万级Token超长文…
-
美团LongCat技术突破：LoZA稀疏注意力机制实现10倍解码加速，轻松驾驭百万级长文本
闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 256K文本预加载提速超50%，并解锁了1M上下文窗口。 美团LongCat系列发布全新稀疏注意力机制LoZA。 该技术旨在集中解决长文本任务中的理解与算力难题。 相比LongCat系列之前的全注意力MLA机制，LoZA仅改造了一半的核心模块，却将模型的长文本处理能力从256K扩展到1M，同时显著提升了解…
-
华为openPangu-R-7B-Diffusion：扩散语言模型突破32K长文本瓶颈，开启“慢思考”推理新范式
在人工智能技术快速演进的浪潮中，文本生成领域正经历着从自回归模型到扩散语言模型（Diffusion Language Models）的深刻范式转变。这一转变不仅代表着技术路径的革新，更预示着语言模型在处理复杂认知任务时的能力边界将被重新定义。然而，扩散模型在长序列训练中的不稳定性问题，尤其是上下文窗口的限制，一直是制约其在数学推理、编程任务等需要深度“慢思考…
-
视觉压缩革命：VIST框架如何让大语言模型像人类一样高效阅读长文本
在人工智能领域，大语言模型（LLM）的上下文长度扩展与计算效率之间的矛盾日益凸显。NeurIPS 2025会议上，南京理工大学、中南大学、南京林业大学联合研究团队提出的VIST（Vision-centric Token Compression in LLM）框架，通过创新的视觉压缩机制，为大语言模型的长文本处理提供了突破性解决方案。这一技术路径与近期备受关注…
