马斯克开源𝕏推荐算法:一个纯AI驱动的端到端系统
目前,GitHub上已完整公开了马斯克开源的𝕏推荐算法系统。
开源文件明确指出,这是一个几乎完全由AI模型驱动的算法系统。
我们移除了所有人工设计特征和绝大多数启发式规则。

消息一出,社区反响热烈,一条获得高赞的评论写道:
不可思议!没有其他平台能做到如此透明。

马斯克本人也迅速转发了𝕏工程团队的原帖,但他此番表态却颇为低调:
我们知道这个算法很蠢(dumb),需要大幅改进,但至少您可以实时、透明地看到我们为改进它而努力。
其他社交媒体公司都没有这样做。

早在2022年收购𝕏(原Twitter)之前,马斯克就多次批评该平台过于封闭。自收购之后,他已多次公开Twitter的核心推荐算法,此次开源可谓延续了其最初的承诺。
纯AI驱动的推荐系统如何运作?
该系统可以概括为:基于Grok-1同款的Transformer架构打造,通过学习用户的历史互动行为(如点赞、回复、转发),来决定推荐什么内容。
当用户打开“For You”信息流时,客户端会向服务器发送请求,触发整个算法流程。

系统首先会构建“实时用户画像”,为此会拉取两类信息:
* 行为序列:代表最直接、最强烈的兴趣信号,如最近的点赞、回复、转发、点击、停留等行为。
* 属性:代表长期属性,如关注列表、声明的兴趣主题、地理位置、使用设备等。
这一步的目标是摒弃工程师的主观假设,尽可能原始地收集用户真实行为数据,并将其直接输入后续模型,实现“去人工化”和“端到端”学习。
获得用户画像后,系统会兵分两路,从海量推文中快速筛选出数千条候选推文:
1. 通过 Thunder模块 抓取用户关注账号的最新推文(熟人圈)。
2. 通过核心的 Phoenix Retrieval模块 抓取用户可能感兴趣、但来自未关注账号的推文(外部发现)。

随后,系统通过 Hydration模块 补全每条候选推文的详细信息(全文、作者、媒体、历史互动数据等)。在正式计算前,还会通过 Filtering模块 淘汰明显不合适的内容,例如:
* 重复或过期的帖子
* 用户自己发布的内容
* 来自拉黑或静音账号的帖子
* 包含用户屏蔽关键词的内容
* 已看过或当前会话中展示过的帖子
* 用户无权限访问的订阅内容
此阶段仅判断内容“能否出现”,而非“是否值得推荐”。

最终剩余的候选内容会被逐条送入 Phoenix排序模型 进行打分。这是一个基于Transformer的模型,它会同时接收:
* 用户的行为序列与属性信息
* 单条候选帖子的内容与作者信息
模型会预测用户对某条推文执行各种操作(如点赞、拉黑)的概率,并按预设权重加权组合,形成最终排序分数。系统还会进行少量工程调节,例如控制作者多样性,防止单一账号刷屏。
需要指出,为保证每条帖子独立评分,系统设置了“候选帖子相互不可见”的机制(即推文之间无交叉注意力)。

所有候选帖子按最终得分排序,系统选出Top-K条作为推荐结果。在返回客户端前,还会进行最后一轮安全校验,移除已删除、被标记为垃圾信息或包含违规内容的推文。
最终,经过重重筛选的内容会根据分数高低展示给用户。

根据官方总结,该系统成功运转的五大关键在于:
1. 纯数据驱动,拒绝人工规则:由AI模型直接从原始用户数据中学习,摒弃人工定义的复杂规则。
2. 候选隔离机制,独立评分:每条内容在打分时“看不见”其他候选内容,确保分数一致且可高效缓存复用。
3. 哈希嵌入,实现高效检索:检索和排序都使用多个哈希函数进行向量嵌入查找,提高效率。
4. 预测多元行为,而非单一分数:模型同时预测多种用户行为的概率,而非输出一个模糊的“推荐值”。
5. 模块化流水线,支撑快速迭代:系统采用模块化设计,各组件可独立开发、测试与替换。
开源后的评价与算法“缺陷”
尽管众人赞赏马斯克的开源姿态,但社区也指出了算法存在的一些问题。
有网友在算法开源后指出,代码显示“被大量用户屏蔽”是一个强负面信号,会导致账号被“降权”,但代码中似乎缺乏针对“屏蔽”信号的时间衰减机制。这意味着历史上的屏蔽记录可能至今仍在影响账号的推荐分数。
对此,马斯克本人在评论区直言:
是的,这算法太烂了。

无论如何,马斯克持续改进和开放的态度已十分明确。他表示未来将每4周更新一次开源代码。
开源仓库:
https://github.com/xai-org/x-algorithm
参考链接:
[1]https://x.com/elonmusk/status/2013482798884233622
[2]https://x.com/elonmusk/status/2013496642851279270

关注“鲸栖”小程序,掌握最新AI资讯
本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:http://www.itsolotime.com/archives/18513
