大语言模型

强化学习（RL）将推荐系统建模为序列决策过程，支持长期效益和非连续指标的优化，是推荐系统领域的主流建模范式之一。然而，传统 RL 推荐系统受困于状态建模难、动作空间大、奖励设计复杂、反馈稀疏延迟及模拟环境失真等瓶颈。近期，大语言模型（LLM）的崛起带来了新机遇。LLM 凭借常识储备、推理能力和语义天赋，不仅能让智能体更懂用户，还能充当高保真的环境模拟器。LL…

关键词：大语言模型、KV 缓存、强化学习、缓存驱逐、长上下文推理 自 Transformer 架构诞生以来，大型语言模型（LLMs）在自然语言处理领域取得了革命性进展。从文本生成到逻辑推理，从多轮对话到长文档理解，LLMs 的能力边界不断拓展。然而，模型性能的飞跃背后，是日益严峻的推理效率挑战——当处理长序列或交互式会话时，KV（Key-Value）缓存成为…

关键词：GPU 性能建模、混合建模、大语言模型、硬件泛化性、性能优化 让 AI 学会“自我审视”：在真实硬件运行前，精准预测每一行代码的执行时间。 2025 年的今天，从 Gemini 到 Llama-3，从 Qwen 到 DeepSeek，大型语言模型（LLMs）正在以前所未有的速度重塑我们的生活。这些动辄百亿、千亿参数的“数字大脑”，背后依赖的是成千上万…

如果把人生看作一个开放式的大型多人在线游戏（MMO），那么游戏服务器在刚刚完成一次重大更新的时刻，规则改变了。 自 2022 年 ChatGPT 惊艳亮相以来，世界已经发生了深刻变化。在短短几年内，人工智能正从模仿语言的统计机器，迈向理解与操纵逻辑的思考系统。如果说早期的大语言模型更像是在进行高维概率空间中的词汇拼贴，那么新一代推理模型，则开始学会在生成之前…

关键词：大语言模型、稀疏注意力、分块预填充、KV 选择、推理加速 无需训练、不依赖特定硬件，仅用 12% 的 KV 对就能实现接近全注意力的效果——这就是 Qualcomm AI Research 带来的全新稀疏注意力算法。 近年来，随着大型语言模型（LLM）的广泛应用，其推理效率逐渐成为制约落地的重要因素。尤其是在预填充阶段——即模型需要一次性处理整个输入…

上财团队 投稿 量子位 | 公众号 QbitAI 在量化金融的底层，Alpha因子本质上是一段可执行的代码逻辑，它们试图将嘈杂的市场数据映射为精准的交易信号。然而，长期以来，自动化因子挖掘始终被困在“两难”的夹缝中：传统的遗传规划 （Genetic Programming，GP） 虽然擅长在海量空间中进行进化搜索，但其本质是“盲目的随机变异”。 它们在回测中…

在企业级系统中，数据团队普遍面临一个困境：模型迭代飞速，但数据准备的「老旧管道」却愈发沉重。清洗、对齐、标注……这些工作依然深陷于人工规则与专家经验的泥潭。 数据格式五花八门：正则表达式越写越多，却总有意想不到的「脏数据」出现。 跨系统表结构不一致：对齐逻辑复杂，人工映射耗时耗力。 海量数据缺少标签和语义描述：分析师「看不懂、用不好」。 这背后是数据准备这一…

在时隔14年之后，有着“统计学诺贝尔奖”之称的考普斯奖（COPSS Presidents’ Award），又一次迎来了华人得主。 2026年考普斯奖颁给了北大校友、现宾夕法尼亚大学副教授苏炜杰。 奖项委员会给他的评语是：“为大语言模型的多项应用建立了严格的统计基础；在隐私保护数据分析方面取得突破性进展，并成功应用于2020年美国人口普查；设计了A…

关键词：基础设施演进、AI集群、大语言模型、GPU扩展、自研芯片 我们仍处于人工智能工作负载演进和应用的早期阶段。过去几年我们一直忙碌不停，而未来几年的发展速度将更快。人工智能对硬件提出的需求，丝毫没有放缓的迹象。 在过去的21年里，Meta实现了指数级增长，从一个连接美国几所大学数千人的小型社交网络，发展成为拥有多款应用程序和新型硬件产品、服务全球超过34…

关键词：LLM、内核生成、自动化优化、智能体、基准测试 现代人工智能系统的性能从根本上受制于底层内核的质量，这类内核可将高层算法语义转化为底层硬件操作。要实现接近最优性能的内核，需要研发人员具备专家级的硬件架构知识与编程模型认知，这使得内核工程成为一项至关重要但耗时冗长且不具备可扩展性的工作。 Towards Automated Kernel Generat…