长文本处理

MIT革命性突破：RLM技术让大模型零改动解锁千万级上下文，推理性能飙升580倍 让大模型轻松处理比自身上下文窗口长两个数量级的超长文本！ MIT CSAIL研究团队提出了一种名为递归语言模型（RLM） 的长文本处理新方法，旨在解决“上下文腐烂”问题。该方法无需修改模型架构或升级模块设计，即可让GPT-5、Qwen-3等顶尖模型具备处理千万级Token超长文…

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 256K文本预加载提速超50%，并解锁了1M上下文窗口。 美团LongCat系列发布全新稀疏注意力机制LoZA。 该技术旨在集中解决长文本任务中的理解与算力难题。 相比LongCat系列之前的全注意力MLA机制，LoZA仅改造了一半的核心模块，却将模型的长文本处理能力从256K扩展到1M，同时显著提升了解…

在人工智能技术快速演进的浪潮中，文本生成领域正经历着从自回归模型到扩散语言模型（Diffusion Language Models）的深刻范式转变。这一转变不仅代表着技术路径的革新，更预示着语言模型在处理复杂认知任务时的能力边界将被重新定义。然而，扩散模型在长序列训练中的不稳定性问题，尤其是上下文窗口的限制，一直是制约其在数学推理、编程任务等需要深度“慢思考…

在人工智能领域，大语言模型（LLM）的上下文长度扩展与计算效率之间的矛盾日益凸显。NeurIPS 2025会议上，南京理工大学、中南大学、南京林业大学联合研究团队提出的VIST（Vision-centric Token Compression in LLM）框架，通过创新的视觉压缩机制，为大语言模型的长文本处理提供了突破性解决方案。这一技术路径与近期备受关注…