MSA

人的智能由推理能力与长期记忆能力构成。近年来，大模型的推理能力快速发展，但其长期记忆能力始终受限于上下文长度，难以突破。历史上，多种技术路线都试图解决这一问题，但均未能同时满足扩展性（Scality）、精度（Precision）与效率（Efficiency）的要求，形成了一个“不可能三角”。近期，论文《MSA: Memory Sparse Attention…