大模型架构

人的智能由推理能力与长期记忆能力构成。近年来，大模型的推理能力快速发展，但其长期记忆能力始终受限于上下文长度，难以突破。历史上，多种技术路线都试图解决这一问题，但均未能同时满足扩展性（Scality）、精度（Precision）与效率（Efficiency）的要求，形成了一个“不可能三角”。近期，论文《MSA: Memory Sparse Attention…

近年来，大模型领域发展迅速，新模型层出不穷。从 GPT、Llama、Gemma、Mistral，到 DeepSeek、Qwen、Kimi、GLM、MiniMax 等，几乎每周都有新架构发布。 然而，随着架构创新日益增多，理解它们却变得愈发困难。不同论文中的模型结构图风格各异，模块命名也不统一，即便是研究者，也很难快速把握一个模型的关键改动之处。 纵观过去几年…

GLM-5正式发布，其定位直指Claude，专注于解决复杂的系统工程与长程智能体任务。模型参数规模从GLM-4.5的355B（32B活跃）大幅跃升至744B（40B活跃），预训练数据量也从23T token扩充至28.5T token。 在技术层面，GLM-5采用了GlmMoeDsa架构，直接集成了来自DeepSeek的DSA稀疏注意力与MTP多标记预测技术…

2026年春节临近，全球AI圈迎来重磅传闻——中国AI实验室DeepSeek预计将在春节假期期间，正式发布其第四代旗舰大模型DeepSeek V4。 多方信源证实，这款承载着架构革命使命的大模型已进入最终筹备阶段，大概率将延续去年春节前发布R1模型的节奏。其带来的技术突破不仅将改写大模型行业格局，更将彻底颠覆程序员延续数十年的传统工作模式，同时重构整个AI算…