大模型工程

关键词：基础设施演进、AI集群、大语言模型、GPU扩展、自研芯片 我们仍处于人工智能工作负载演进和应用的早期阶段。过去几年我们一直忙碌不停，而未来几年的发展速度将更快。人工智能对硬件提出的需求，丝毫没有放缓的迹象。 在过去的21年里，Meta实现了指数级增长，从一个连接美国几所大学数千人的小型社交网络，发展成为拥有多款应用程序和新型硬件产品、服务全球超过34…

Attention机制暗藏偏置陷阱：上海大学团队提出去偏修正公式，提升多模态大模型剪枝效率 近年来，视觉-语言模型在多模态理解任务中取得了显著进展。为了降低推理成本，模型通常通过语言到视觉的注意力来衡量视觉标记与文本之间的相关性，并据此进行视觉标记剪枝。 然而，一个长期被忽视的问题是：注意力本身是否真的能够作为“语义重要性”的可靠指标？ 上海大学曾丹团队在最…

关键词：LLM、内核生成、自动化优化、智能体、基准测试 现代人工智能系统的性能从根本上受制于底层内核的质量，这类内核可将高层算法语义转化为底层硬件操作。要实现接近最优性能的内核，需要研发人员具备专家级的硬件架构知识与编程模型认知，这使得内核工程成为一项至关重要但耗时冗长且不具备可扩展性的工作。 Towards Automated Kernel Generat…

每个可靠的企业级 RAG 系统背后的 8 个关键工具 我第一次认真构建检索增强生成（RAG）系统时，犯了大多数团队都会犯的同样错误。 我以为 RAG 的核心是选对模型。 其实不是。 企业级 RAG 关注的是模型之外的一切——那些枯燥、脆弱、不光鲜，但决定你的系统能否多年稳定运行、还是在真实流量面前崩塌的部分。 当你越过演示阶段，进入生产环境时，你会发现 RA…

关键词：复合操作数据流建模、集体通信操作、内存层级优化、机器学习加速器、性能建模与优化 在人工智能技术日新月异的今天，大语言模型、状态空间模型等复杂神经网络已成为推动技术发展的核心引擎。然而，这些模型所依赖的复合操作——即由多个基础操作（如矩阵乘法、归一化、逐元素变换）组合而成的结构化模块——正在对现有的硬件加速器数据流设计与性能优化提出严峻挑战。 传统的数…

Generated in whisk 现代 Python 强调速度、清晰性和低摩擦。开发者期待能消除环境搭建之痛、缩短反馈回路的工具。 以下这些库可以在不增加复杂度的前提下，帮助你改进日常工作。 1. Pixi 📦 如果你曾花更多时间在排查虚拟环境而不是写代码上，Pixi 就是为你准备的。它是一个构建在 Conda 生态上的高性能包管理器，但针对速度与简洁做…

我的 17 岁，是坐在教室里苦哈哈地刷数学卷子；而这个名叫 Enrique Barschkis 的高中生，利用课间休息时间，成功解决了困扰数学家多年的埃尔德什第 347 号问题。 这一成就不仅在社交平台 X 上引发热议，更得到了谷歌首席科学家 Jeff Dean 的盛赞。 什么是埃尔德什第 347 号问题？ 埃尔德什第 347 号问题，最初由埃尔德什和格雷厄…

3D生成技术面临“半开放”窘境 当前3D生成技术深陷“半开放”窘境：模型能够打造精美的样板间，却对真实世界中千变万化的物体与场景表现不稳定。 针对这一问题，IDEA研究院张磊团队与香港科技大学谭平团队联合推出了SceneMaker框架。该框架以万物检测模型DINO-X与万物3D生成模型Triverse为基础，实现了从任意开放世界图像（室内、室外、合成图等）到…

Image by SORA “我该用哪一个模型？”——初级工程师会这样问。“哪里会先坏？”——资深工程师会这样问。 大多数 AI 程序在演示中光鲜亮丽，在生产中却悄无声息地失效，原因就在这里。 AI 并没有让软件工程变简单。它只是揭示了谁本来就做得好。 模型是最容易的部分——如果你见过一个 AI 功能在预发布环境里一切顺利，却在真实流量、脏数据和不可预测的用…