Transformer

Transformer 是当前大语言模型（LLM）发展的核心基础，但一些顶尖研究者正积极寻求替代路径。其中甚至包括 Transformer 的创造者之一、Sakana AI 联合创始人兼 CTO Llion Jones。他在 Sakana 的官方博客中直言不讳地写道：“为什么 Transformer 的这位创造者受够了 Transformer”。 “我不是说…

引言 本文将从信号处理的角度，解读大模型语义向量化背后的信息论原理，并从时间序列的视角分析 Transformer 架构及其与 Granger 因果性的关联。 我们首先提出一个核心观点：大模型的输入是 Token 的语义嵌入（即语义向量），这一过程本质上是将自然语言处理问题转换为信号处理问题。因此，向量化对于大模型至关重要，它与信号处理、信息论有着深刻的联系…

马斯克开源𝕏推荐算法：一个纯AI驱动的端到端系统 目前，GitHub上已完整公开了马斯克开源的𝕏推荐算法系统。 开源文件明确指出，这是一个几乎完全由AI模型驱动的算法系统。 我们移除了所有人工设计特征和绝大多数启发式规则。 消息一出，社区反响热烈，一条获得高赞的评论写道： 不可思议！没有其他平台能做到如此透明。 马斯克本人也迅速转发了𝕏工程团队的原帖，但他此…

DeepSeek为Transformer引入“条件记忆”模块 DeepSeek在最新研究中为Transformer架构引入了“条件记忆”机制，旨在弥补其原生缺乏高效知识检索能力的短板。 研究团队在论文结论中明确指出：条件记忆应被视为下一代稀疏模型不可或缺的核心建模原语。 该研究由梁文锋署名，并与北京大学王选计算机研究所的赵东岩、张辉帅团队合作完成。 论文不仅…

Anthropic联合创始人Jack Clark近期参与了一场深度对话，同台的还有知名前对冲基金经理Michael Burry、Dwarkesh播客创始人Dwarkesh Patel以及软件创业者Patrick McKenzie。 四位业界人士的讨论揭示了关于AI生产力的一些反直觉细节和数据。 AI工具真的提升了生产力吗？多数人的直觉答案是肯定的，但Jack…

2026年即将到来，AI的发展已经进入一个新阶段：我们取得了惊人成就，却也同时面临进一步增长的瓶颈。 新加坡国立大学（NUS）的尤洋教授近期发表了一篇深度分析：《智能增长的瓶颈》。 在这篇分析文章中，尤洋教授从技术本质出发，直指智能增长的核心矛盾，并揭示了AGI（通用人工智能）的可能路径。 核心观点 智能增长的本质不是架构变革，而是算力如何转化为智能：AI的…

可穿戴健康监测信号由于监测难度高、观测噪声大、易受干扰，高质量的心血管信号仍难以长期便捷获取，这是智能健康监测系统始终面临的现实困境。近日，清华朱军等团队提出了一种统一的多模态生成框架 UniCardio，在单扩散模型中同时实现了心血管信号的去噪、插补与跨模态生成，为真实场景下的人工智能辅助医疗提供了一种新的解决思路。相关工作《Versatile Cardi…

在斯坦福大学的演讲中，谷歌联合创始人谢尔盖·布林以罕见的坦诚，回顾了谷歌从诞生到AI竞争中的关键转折点。这场演讲不仅是对一家科技巨头历史的梳理，更是对技术决策、创新节奏与产业趋势的深刻反思。 布林首先指出，谷歌的诞生源于一次“无心插柳”的创业。1995年，他与拉里·佩奇在斯坦福相遇，最初的目标是开发一个名为“BackRub”的搜索算法，希望通过链接分析评估网…

在计算机视觉领域，3D重建与几何感知一直是核心挑战之一。传统方法往往需要针对不同任务设计专用模型，如单目深度估计、多视角重建、相机姿态估计等，这不仅增加了开发复杂度，也限制了模型的泛化能力与数据利用效率。近日，字节跳动Seed团队的Depth Anything 3（DA3）研究成果，以单一Transformer架构统一了多种3D视觉任务，在视觉几何基准上取得…