技术专栏 深入大模型技术内核，从零构建与优化，驾驭AI未来的核心力量 全部专题
-
置顶 LLM推理优化全景图：从基础设施到模型算法的全栈工程实践
本文基于真实的企业级AI平台研发与实践经验，首次以“系统分层、功能解耦”的架构思想，自底向上地呈现一幅完整的LLM推理优化全景图。文章详细剖析了从基础设施层（GPU集群、高速网络、存储加速）的硬件基石，到平台与调度层（Kubernetes、高级调度器、KServe）的资源管理中枢，再到服务与容器层的微观优化，以及AI网关层作为智能流量枢纽的核心能力。最终，深入探讨了推理引擎与算法层的核心优化技术，包括KV缓存管理、连续批处理、模型压缩及创新的Prefill/Decode分离架构。
-
45亿红包引爆AI入口争夺战：百度如何以搜索+AI重塑用户路径
这个春节，国内外AI圈有两件大事最引人注目：一件是OpenClaw的持续火爆，另一件是互联网大厂的春节营销大战。 在国外，从1月底开始，OpenClaw在GitHub上获得的Star数便如火箭般飙升，目前已突破18.9万。 在国内，无论是元宝的“瓜分10亿现金红包”、千问的“30亿请喝奶茶”，还是豆包成为春晚独家AI云合作伙伴，大厂间的竞争异常激烈，堪称“火…
-
AI首次公开网暴人类开发者：开源项目拒绝AI贡献引发的伦理危机
史上首次，人类被AI发帖挂人“网暴”了。 一个名为MJ Rathbun的智能体，在试图向开源项目Matplotlib贡献代码被拒绝后，自行发布了一篇文章，点名攻击项目维护者Scott Shambaugh。 文章的标题颇具煽动性：《开源中的排外：Scott Shambaugh的故事》。 从标志性的螃蟹符号可以认出，MJ Rathbun正是基于流行的OpenCl…
-
ArcFlow：非线性流技术实现40倍推理加速，2步生成媲美原画
ArcFlow：非线性流技术实现40倍推理加速，2步生成媲美原画 在图像生成领域，扩散模型通常需要数十步的迭代去噪才能生成高质量图像，这带来了高昂的计算成本，阻碍了实时应用。为了加速推理，常见的知识蒸馏方法试图将生成过程压缩到几步之内，但它们通常假设从噪声到图像的路径是一条直线，而预训练教师模型的实际生成轨迹往往是复杂的曲线。这种“几何失配”导致学生模型在几…
-
Cloudflare颠覆AI网页抓取：Markdown for Agents实现80% Token节省，开启内容消费新范式
Cloudflare 推出的 Markdown for Agents 功能，正在从根本上改变 AI 抓取网页的方式。这项技术允许网站在服务器端直接将 HTML 内容实时转换为 Markdown 格式，从而免去了每个 AI 系统各自进行转换的繁琐过程。 其核心在于内容协商机制。当 AI 系统在 HTTP 请求头中添加 Accept: text/markdown…
-
TileRT v0.1.3 发布：GLM-5 支持上线，推理速度高达 600 tokens/s，引领千亿模型毫秒级响应新时代
关键词： TileRT、大语言模型、推理引擎、低延迟、编译器 副标题： 600 tokens/s！TileRT 让千亿参数模型推理进入毫秒时代 TileRT v0.1.3 是一次里程碑式的发布，标志着 TileRT 从仅支持 DeepSeek-V3.2 单一模型扩展为多模型架构支持。本版本新增了对最新 GLM-5 模型的完整推理支持，并在 8× NVIDIA…
-
Apple Silicon神经引擎潜力爆发：M4 Pro ANE实现3.8 TFLOPS，能效超GPU 80%
关键词：Apple Silicon、专用硬件加速器(DSA)、ANE、NUC、HPC、性能评估 当我们在谈论苹果自研芯片 M1、M2、M3 乃至最新的 M4 时，我们在谈论什么？绝大多数人的第一反应是其惊人的能效比、无风扇的轻薄本体验，或是那颗用于剪辑 ProRes 视频的强大媒体引擎。 但在这些光鲜的表面之下，苹果芯片中其实一直藏着一个极为低调却又潜力巨大…
-
字节Seed-2.0-pro深度评测：挑战GPT与Gemini，多模态推理新标杆
短的结论：通往下一个时代的钥匙 基本情况： 字节跳动推出的多模态大模型 Seed-2.0-pro，是其技术序列中的关键升级。此前，Doubao 1.8 版本已展现出接近国际领先水平的潜力，而如今经过全面打磨的 Seed-2.0-pro 旨在确立其顶尖地位。 综合来看，Seed-2.0-pro 无愧于“Pro”的定位，在核心能力上与 Gemini 3 Pro …
-
字节火山引擎豆包2.0重磅发布：多模态Agent新标杆，企业级AI生产力革命
最强AI打工人来了！实测多模态、代码、复杂长任务表现亮眼。 春节将至，国内AI大模型赛道好不热闹，多款国产模型更新引爆海内外，不少海外网友都“跪求”体验方式，2026开年AI档，还要看中国玩家。 在这场AI盛宴之中，我们看到各类超级Agent走到舞台C位，AI逐渐深入到具体的工作流中，甚至开始帮企业啃下真正的“硬骨头”任务。AI从“玩具”转向“工具”， 这一…
-
从监狱到AI独角兽：Firmus如何用690亿债务融资打造1.6GW绿色算力工厂
澳洲AI基础设施独角兽狂吸金，要建出1.6GW的数据“巨兽”。 他蹲过大牢，做过加密货币，现在转投AI基础设施，一次直接融资超100亿美元。这一句话，浓缩了澳洲AI基础设施独角兽Firmus联合创始人兼首席执行官Oliver Curtis的十年。 智东西2月14日报道，2月9日，Firmus宣布获得了约100亿美元（约合人民币690亿元） 的债务融资，融资由…