长上下文处理

最强的大模型，已经把scaling卷到了一个新维度：百万级上下文 。 几天前，Claude Opus 4.6发布，让人第一次真切感受到了百万上下文的涌现能力——单次吃进50万字中文内容、实现跨文档法律分析、多轮Agent规划…… 而这股scaling的风，也很快吹到了端侧。 面壁智能发布了首次大规模训练的稀疏与线性混合注意力模型。这套新注意力架构，不仅解决了…

在人工智能领域，处理长上下文序列一直是大型语言模型面临的核心挑战之一。传统的密集注意力机制虽然功能强大，但其计算复杂度随序列长度呈二次方增长，这严重限制了模型处理长文本、代码或多轮对话的能力。今年2月，月之暗面提出的MoBA（Mixture of Block Attention）机制为这一难题提供了创新解决方案。MoBA将混合专家（MoE）原理引入注意力机制…