稀疏注意力机制

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 256K文本预加载提速超50%，并解锁了1M上下文窗口。 美团LongCat系列发布全新稀疏注意力机制LoZA。 该技术旨在集中解决长文本任务中的理解与算力难题。 相比LongCat系列之前的全注意力MLA机制，LoZA仅改造了一半的核心模块，却将模型的长文本处理能力从256K扩展到1M，同时显著提升了解…

深度求索近期发布了DeepSeek-V3.2版本，这是一款在计算效率、推理能力和智能体性能方面实现协调统一的模型。其高算力变体DeepSeek-V3.2-Speciale在2025年IMO和IOI中均达到了金牌水平。此次评测重点是评测思考模式（Think），其思考模式下的DeepSeek-V3.2（下面简称DeepSeek-V3.2-Think）在多个维度实…