大模型推理

RL赋能3D生成新突破：首个系统性强化学习研究让3D模型学会复杂文本推理 图像生成领域，强化学习（RL）已取得显著成果。那么，3D生成呢？ 当GRPO（Group Relative Policy Optimization）等技术推动大模型在数学、代码推理上实现质变时，一项开创性研究率先给出了答案——首个将强化学习系统性引入文本到3D自回归生成的研究正式诞生，…

关键词： Agentic LLM、KV缓存、PD分离、存储I/O、负载均衡 近年来，大型语言模型（LLM）的应用形态正在发生深刻变革。早期的LLM主要扮演聊天机器人的角色，交互回合有限，上下文相对较短。然而，随着技术的发展，LLM正迅速演变为能够自主规划、调用工具、解决实际任务的智能体（Agent）系统。这类系统通过多轮交互与环境（如代码解释器、浏览器、终端…

去年七月，国际数学奥林匹克竞赛（IMO）见证了人工智能系统首次达到金牌水平。当时，OpenAI与谷歌DeepMind相继宣布其AI模型在此类测试中取得优异成绩，其中DeepMind的Gemini模型更是首个获得IMO官方金牌认证的AI系统。 然而，竞赛解题与真正的数学研究之间，仍存在显著差异。 此后，AI智能体技术飞速发展，其解决数学问题的能力不再仅仅依赖于…

本文介绍的工作来自香港浸会大学和上海交通大学的可信机器学习和推理组，已被 ICLR 2026 接收。 目前，RLVR（Reinforcement Learning with Verifiable Rewards）已成为诱导大语言模型推理能力的主流技术路线。然而，RLVR 需要高质量标注数据来监督奖励获取，这一点是其可扩展性上的主要瓶颈。 一旦走向不需要标注数…

关键词： LLM 服务系统 、预填充、 队头阻塞 、 _ SLO 感知调度_ 、 算子级抢占 、事件驱动调度 当我们正在使用一个智能聊天机器人，输入了一个简短的问题，满怀期待地等待回复。然而， 由于服务器正在处理一个长篇文档总结任务，请求被堵在后面，迟迟得不到响应，眼睁睁看着“正在输入”的提示转个不停 。这种体验像极了早高峰堵车——一辆大货车慢悠悠地走在前面…

为什么现有上下文压缩方法在高压缩率下集体“翻车”？ 当模型需要将32K的长文本压缩到1K时，性能为何会断崖式下跌？现有方法在长文本压缩中容易保留大量“高度相似却重复”的内容，陷入“信息内卷”：看似保留了相关片段，实则堆砌了语义雷同的冗余token，反而会误导模型生成错误答案。 来自阿里巴巴未来生活实验室的研究团队发现，这背后是压缩目标的根本错位：现有方法只关…

语音情感识别（Speech Emotion Recognition, SER）在过去基本遵循同一种范式：输入语音，输出情绪标签。这种设定在工程上有效，但在认知层面却过于简化。 在人类交流中，情绪判断从来不是一个“标签选择”的过程，而是一种基于证据整合的推理行为。我们会综合语调变化、音高起伏、语速快慢、重音位置、语义内容，以及说话人的身份特征，去解释“为什么”…

关键词：GPU 性能建模、混合建模、大语言模型、硬件泛化性、性能优化 让 AI 学会“自我审视”：在真实硬件运行前，精准预测每一行代码的执行时间。 2025 年的今天，从 Gemini 到 Llama-3，从 Qwen 到 DeepSeek，大型语言模型（LLMs）正在以前所未有的速度重塑我们的生活。这些动辄百亿、千亿参数的“数字大脑”，背后依赖的是成千上万…

春节前夕，字节跳动正式发布了 Seed 2.0 系列大模型。在先前的评测中，我们已经对该系列的旗舰版本 Doubao-Seed-2.0-pro 进行了详细分析。 在实际的商业落地与开发场景中，模型的成本控制往往与性能表现同等重要。与 Doubao-Seed-2.0-pro 版本同期发布的，还有定位更加轻量、普惠的 Doubao-Seed-2.0-lite 模…

关键词： FPGA 加速 、 _ 高层次综合 (HLS)、_ 模型量化、 硬件-软件协同设计 、低延迟推理、 开源编译器 只需几行 Python 代码——配合简单的配置字典，即可将训练好的神经网络模型一键部署到 FPGA，实现极致低延迟推理。hls4ml 会自动处理量化、并行策略和硬件映射，让你无需手动编写硬件代码。 近年来，深度学习模型在计算机视觉、自然语…