上下文扩展
-
突破记忆瓶颈！MSA架构实现100M Token长时记忆，开启大模型终身记忆新纪元
人的智能由推理能力与长期记忆能力构成。近年来，大模型的推理能力快速发展，但其长期记忆能力始终受限于上下文长度，难以突破。历史上，多种技术路线都试图解决这一问题，但均未能同时满足扩展性（Scality）、精度（Precision）与效率（Efficiency）的要求，形成了一个“不可能三角”。近期，论文《MSA: Memory Sparse Attention…
-
AI前沿速递：长视频生成突破、视觉文本压缩创新与轻量MoE模型发布
10月26日 【开源】美团LongCat-Video视频生成模型美团LongCat团队发布基于Diffusion Transformer架构的LongCat-Video模型。该模型创新性地通过“条件帧数量”实现任务区分，原生支持文生视频、图生视频、视频续写三大核心任务，能够实现分钟级长视频的连贯生成，从根源上保障了跨帧时序一致性与物理运动的合理性。 模型链接…
