技术专栏 深入大模型技术内核,从零构建与优化,驾驭AI未来的核心力量 全部专题

  • 置顶 LLM推理优化全景图:从基础设施到模型算法的全栈工程实践

    本文基于真实的企业级AI平台研发与实践经验,首次以“系统分层、功能解耦”的架构思想,自底向上地呈现一幅完整的LLM推理优化全景图。文章详细剖析了从基础设施层(GPU集群、高速网络、存储加速)的硬件基石,到平台与调度层(Kubernetes、高级调度器、KServe)的资源管理中枢,再到服务与容器层的微观优化,以及AI网关层作为智能流量枢纽的核心能力。最终,深入探讨了推理引擎与算法层的核心优化技术,包括KV缓存管理、连续批处理、模型压缩及创新的Prefill/Decode分离架构。

    2025年10月2日
    18412
  • Cursor 2.0 正式发布:自研模型 Composer 与多智能体协作界面同步上线

    Cursor 2.0 正式发布,推出自研编码模型 Composer 及多智能体并行协作界面。Composer 在编码智能上达到前沿水平,生成速度达每秒 250 个 token,为同类模型的四倍,支持低延迟交互式编程。新版本界面以智能体为中心,支持多任务并行处理,并优化了代码评审与测试流程。此次更新标志着 Cursor 从依赖第三方模型的“AI 外壳”转型为“AI 原生平台”。

    2天前
    5410
  • 美团视频生成模型来了!一出手就是开源SOTA

    美团推出开源视频生成模型LongCat-Video,该模型在文生视频、图生视频和长视频生成等多个任务上达到先进水平,通过技术创新实现了高质量、长时序的视频内容生成,为视频创作和AI世界模型研究提供了新的工具和思路。

    5天前
    3600
  • 开源模型首夺国际物理奥赛金牌!上海AI Lab打造235B参数模型超越GPT-5与Grok-4

    上海AI Lab研发的开源模型P1-235B-A22B在国际物理奥林匹克竞赛(IPhO)中首次达到金牌分数线,并在涵盖全球13项顶级赛事的HiPhO基准测试中以12金1银的成绩与谷歌Gemini-2.5-Pro并列第一,超越GPT-5与Grok-4。该成果依托多阶段强化学习训练与协同进化多智能体系统PhysicsMinions,标志着开源模型在复杂物理推理能力上实现重要突破。

    2025年10月25日
    6100
  • AI在线强化学习实现“实践式学习”,斯坦福团队助力7B小模型性能大幅提升,表现超越GPT-4o

    斯坦福团队推出AgentFlow框架,通过在线强化学习让仅7B参数的小模型在流式协作中“边做边学”。该方法使模型在搜索、数学等10项任务中性能显著提升,部分表现甚至超越了GPT-4o等超大模型,证明了优化系统设计可突破模型规模限制。

    2025年10月24日
    7200
  • GPT-5被比作o3.1?OpenAI首次深度解析“思考型AI”:强化学习与预训练双轨并行,才是实现AGI的关键路径

    OpenAI研究副总裁Jerry Tworek首次详解GPT-5,称其本质是o3模型的升级版(o3.1)。他指出,强化学习与预训练结合是AGI发展的核心路径,未来将打造更自主、思考时间更长的推理模型。Jerry还认可DeepSeek的GRPO算法推动美国RL研究,并透露OpenAI内部高度自主、信息透明,员工甚至自费使用ChatGPT。

    2025年10月23日
    7500
  • Meta 的 AI 部门突然“瘦身”:600 人收到离职预警,老牌团队 FAIR 成了刀口下的“肥肉”。

    Meta AI大裁员,要从超级智能实验室裁掉600人! 操刀人是上个月才到任的“首席 AI 官”亚历山大·王。他给出的理由很直接:层级太多、流程太冗,得把组织“砍”成更灵活的突击队。太平洋时间周三清晨 7 点前,美国员工会收到邮件,知道自己有没有被“优化”掉。 与血流成河的 FAIR、产品组、基础设施组形成鲜明对比的,是去年才成立的 TBD Lab——不仅毫…

    2025年10月23日
    3500
  • OpenAI推出首款ChatGPT浏览器,即刻免费体验!

    从今天起,使用ChatGPT有了OpenAI官方的浏览器选择。 这款名为ChatGPT Atlas(阿特拉斯,灵感来自古希腊神话中托举地球的神祇)的浏览器,是OpenAI首款AI原生的浏览器产品,现已正式上线。 它有哪些功能? 简言之,ChatGPT已有的核心能力正被全面整合进这款浏览器中,未来更多功能也将陆续融入。 这是OpenAI打造的全新入口,旨在让用…

    2025年10月22日
    5800
  • ChatGPT千亿tokens,干掉麦肯锡5000名顾问

    魔幻啊魔幻。 全球顶级咨询公司麦肯锡,居然收到了OpenAI最近给Tokens消耗大客户颁发的奖牌。 麦肯锡自己还怪自豪的,第一时间就把奖牌po到了领英上。 等等,好像哪里不对……但凡过遍脑子,都能察觉出“这份荣耀”有点不对味—— 你花百万美金买PPT的麦肯锡,竟然是ChatGPT的大客户?! 这大概也意味着,很多机构花了数百万美元购买的战略咨询PPT,其实…

    2025年10月22日
    3500
  • DeepSeek开源视觉压缩模型引爆业界,单GPU实现高效长文本处理

    DeepSeek-OCR创新性地提出“视觉压缩文本”范式,通过将文本信息转化为图像表征,有效解决大模型处理长文本时的算力瓶颈。该3B参数模型采用DeepEncoder编码器和DeepSeek3B-MoE-A570M解码器双组件架构,实现用少量视觉token高效表示海量文本内容。实验表明,在10倍压缩率下解码准确率达97%,20倍压缩率仍保持60%准确率。仅需单张A100 GPU即可每日生成超20万页训练数据,在OmniDocBench基准上以最少token数达到SOTA性能。这一突破性方法不仅被业界誉为“AI的JPEG时刻”,更为统一视觉与语言处理、构建类人记忆机制提供了新路径。

    2025年10月21日
    5000
点击查看更多