技术专栏 深入大模型技术内核,从零构建与优化,驾驭AI未来的核心力量 全部专题

  • 置顶 LLM推理优化全景图:从基础设施到模型算法的全栈工程实践

    本文基于真实的企业级AI平台研发与实践经验,首次以“系统分层、功能解耦”的架构思想,自底向上地呈现一幅完整的LLM推理优化全景图。文章详细剖析了从基础设施层(GPU集群、高速网络、存储加速)的硬件基石,到平台与调度层(Kubernetes、高级调度器、KServe)的资源管理中枢,再到服务与容器层的微观优化,以及AI网关层作为智能流量枢纽的核心能力。最终,深入探讨了推理引擎与算法层的核心优化技术,包括KV缓存管理、连续批处理、模型压缩及创新的Prefill/Decode分离架构。

    2025年10月2日
    58812
  • MiniCPM-o 4.5:9B参数开源全模态模型,端侧设备上的GPT-4o平替

    MiniCPM-o 4.5:9B参数开源全模态模型,端侧设备上的GPT-4o平替 MiniCPM-o 4.5 是由面壁智能 OpenBMB 开源的新一代全模态旗舰模型,其参数量仅为 9B。该模型在多项任务上对标甚至超越了部分闭源大模型,被广泛视为端侧设备上的 GPT‑4o 平替。目前,MiniCPM-o 4.5 已登上 Hugging Face 热榜第二位。…

    13小时前
    1800
  • GRPO算法赋能多智能体系统:实现复杂任务规划的革命性训练方法

    面向长时程任务的智能体系统需要具备规划、正确使用工具以及逐步执行的能力。大多数现代智能体系统依赖推理,每次组件调用都从零开始,且缺乏事先训练,这会显著增加长时程任务中任一步骤出现错误规划或错误工具调用的概率。GRPO算法能够持续训练智能体在长任务中进行规划与正确执行。一个典型的基于GRPO的智能体训练系统大致如下所示…… GRPO如何影响智能体训练: 基于组…

    14小时前
    1400
  • GLM-5引爆AI编程革命:中国大模型从“炫技”迈向“系统工程”时代

    我们每天都在见证「全球大模型第一股」智谱的历史新高。 2026 年的春节档,注定将被写入中国 AI 的发展史。 过去半个月,AI 社区被两颗「超新星」彻底点燃:一颗是字节跳动发布的 Seedance 2.0,它用震撼的视频生成能力横扫了全球社交网络,代表了 AI 在感性与创意维度的大爆发;而另一颗,则是这几天让开发者们彻夜未眠的智谱 GLM-5。 可以说,S…

    15小时前
    1500
  • 开源多模态推理新突破:MMFineReason框架以4B参数逆袭30B模型,开启数据驱动的高效推理时代

    长期以来,开源多模态模型在复杂推理任务上,始终与 GPT-4o、Gemini 等顶尖闭源模型存在一道难以逾越的鸿沟。 社区开发者们逐渐意识到,核心痛点或许不在于模型架构的精进或者模型参数的规模。真正的瓶颈,在于高质量、思维链(CoT)密集的推理数据极度匮乏。 在纯文本领域,DeepSeek-R1 的成功已验证了高质量后训练数据(Post-training D…

    15小时前
    1700
  • WorldArena:颠覆世界模型评测,从“视觉内卷”到“功能智能”的革命性突破

    当世界模型生成的视频足以「以假乱真」,为何机器人依然「有眼无脑」? 2026年2月13日,一则来自具身智能前沿的重磅消息引发学界与产业界震动:由清华大学、北京大学、香港大学、普林斯顿大学、中科院、上海交通大学、中国科学技术大学、新加坡国立大学等顶尖机构联合推出的 WorldArena —— 首个面向具身世界模型的「功能 + 视觉」统一评测体系,正式面向全球开…

    15小时前
    1800
  • 开源多模态推理新突破:MMFineReason框架以4B参数逆袭30B模型,开启数据驱动的高效推理时代

    长期以来,开源多模态模型在复杂推理任务上,始终与 GPT-4o、Gemini 等顶尖闭源模型存在一道难以逾越的鸿沟。 社区开发者们逐渐意识到,核心痛点或许不在于模型架构的精进或参数规模的扩大,而在于高质量、思维链(CoT)密集的推理数据极度匮乏。 在纯文本领域,DeepSeek-R1 的成功已验证了高质量后训练数据的威力。但在多模态领域,研究者们面对的是横亘…

    15小时前
    1500
  • GLM-5引领中国AI成熟期:从炫技到系统工程的跨越

    我们每天都在见证「全球大模型第一股」智谱的历史新高。 2026 年的春节档,注定将被写入中国 AI 的发展史。 过去半个月,AI 社区被两颗「超新星」彻底点燃:一颗是字节跳动发布的 Seedance 2.0,它用震撼的视频生成能力横扫了全球社交网络,代表了 AI 在感性与创意维度的大爆发;而另一颗,则是这几天让开发者们彻夜未眠的智谱 GLM-5。 可以说,S…

    15小时前
    1700
  • WorldArena:颠覆世界模型评测,从“视觉内卷”到“功能智能”的范式重构

    当世界模型生成的视频足以「以假乱真」,为何机器人依然「有眼无脑」? 2026年2月13日,由清华大学、北京大学、香港大学、普林斯顿大学、中科院、上海交通大学、中国科学技术大学、新加坡国立大学等顶尖机构联合推出的WorldArena——首个面向具身世界模型的「功能+视觉」统一评测体系,正式面向全球开源发布。 这并非又一套「比谁画得真」的榜单,而是一面照向世界模…

    15小时前
    1700
  • MiniMax M2.5深度评测:国模编程可用性突破,逻辑与工程能力全面进化

    短的结论:向下扎根,向上生长 基本情况: 稀宇的前一代M2.1因技术问题,在逻辑能力上落后于M2。M2.5基本解决了这些问题,能力回归正轨,相比M2的综合性能提升约17%。 不过,部分进步是通过更长的思维链和更深的解空间探索换来的。M2.5的平均Token消耗在测试模型中排第6高,几乎是对手Sonnet的2倍。得益于稀宇充足的算力与可控的成本,M2.5在编程…

    16小时前
    2000
点击查看更多