小模型

近年来，大模型领域的竞争日趋白热化，无论是开源还是闭源阵营，都陷入了对 Scaling Law、算力与参数量的极致追求，其规模膨胀的速度已近乎“军备竞赛”。 过去，拥有约15亿参数的GPT-2在如今看来已属“小模型”。而GPT-4的参数规模据业内估计已达万亿级别，GPT-5等后续模型的体量更是难以估量。开源模型同样在向超大参数迈进，超过6000亿参数的模型已…

阿里通义千问发布了Qwen3.5系列的四款小参数规模模型，分别为0.8B、2B、4B和9B。该系列的核心创新在于引入了Gated DeltaNet混合注意力机制，此项技术借鉴自其397B参数的大模型。 该架构采用三层线性注意力层对应一层全注意力层的设计。线性层负责常规计算，内存占用保持恒定；全注意力层仅在需要精确计算时激活。这种3:1的配比使得模型在维持高质…

一套深度实战的 22 篇工程系列：用 1B–7B 模型打造快速、低成本、私密且强大的 AI 系统。 使用 AI 生成的图像 四个月前，我真的觉得小模型是个笑话。 并非没用——只是…有限。适合做演示、做研究挺有意思，但离生产可用还差得远。 在我看来，“真正的 AI 工程”就该用巨型基础模型和一堆 A100。如果你不在烧算力，你算什么在做 AI？ 这个信念在一个…