Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

Karpathy 正式加入 Anthropic

昨天,Karpathy 在 X 上发布了一条消息,宣布他已正式加入 Anthropic。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

这位 OpenAI 联合创始人、特斯拉前 AI 总监、斯坦福 CS231n 课程主讲人、Eureka Labs 创始人,兜兜转转之后,最终选择了 Anthropic。

他此次加入的是 Claude 预训练团队,将与 Nick Joseph 并肩作战,并组建一支全新的团队,专注于利用 Claude 进行 AI 编程。

消息一经发布,X 平台瞬间沸腾。

Karpathy 在 GitHub 上的影响力同样巨大,他开源了许多具有深远影响的项目。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

他的风格非常鲜明:用最简洁的代码,阐述最深刻的原理。

没有复杂的架构,没有繁琐的依赖,核心逻辑往往只有几百行,但每一个都值得反复研读。

下面精选出 5 个最具代表性的项目推荐给大家。

01. 花 100 美元训练你自己的 ChatGPT

Karpathy 声称,仅需 100 美元,就能从零开始训练一个属于自己的 ChatGPT。

nanochat 正是为此而生。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

它的定位非常明确:The best ChatGPT that $100 can buy. (100 美元能买到的最好的 ChatGPT)。

你只需租用一台云端 GPU 服务器,运行一个脚本,4 小时后,就能在一个类似 ChatGPT 的 Web 界面中,与你自己训练的模型进行对话。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

从自定义的 Rust tokenizer,到分布式训练,再到 Web 推理服务,整个链条都完整地集成在一个仓库中。

代码刻意保持了高度的可修改性(hackable),这意味着你可以随意改动和实验。它不是那种依赖繁多、让人不敢轻易触碰的框架,而是一个你打开看一遍就能理解全部流程的项目。

这个项目也是 Karpathy 在其 AI 教育公司 Eureka Labs 推出的课程 LLM101n 的毕业设计。

这门课教你如何从零构建 LLM,而 nanochat 就是最终的成果。

简单来说,这个项目是为那些想彻底搞懂 ChatGPT 完整链路的人准备的。它比阅读论文有用 100 倍,因为你真的能亲手运行起来。

最近,在张小 Jun 的播客中,姚顺宇在面试 Anthropic 之前似乎也深入研究过这个项目。

  • 开源地址:https://github.com/karpathy/nanochat

02. 让 AI Agents 自动为你做研究

这个项目是 Karpathy 所有仓库中 Star 数最多的。

它是一个能让 AI 自动运行实验的工具。

autoresearch 做的事情很简单,但极具颠覆性:在单张 GPU 上,让 AI agents 自动基于 nanochat 进行训练实验和科学研究。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

在训练 LLM 时,人类研究员通常需要手动调整超参数、运行实验、查看结果、分析日志,然后再调整参数,进行下一轮实验。

autoresearch 将这个循环过程完全自动化了。

AI 能够自己调整参数,自己运行实验,自己分析结果,并决定下一步的行动。

它的门槛很低,单张 GPU 就能运行。但它所代表的思路至关重要:AI 不仅仅是研究的对象,它也可以成为从事研究的主体。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

这是 Karpathy 对 AI 辅助科学研究方向的探索。

目前这个领域仍处于早期阶段,但试想一下,如果 AI 能独立进行研究,那么进步速度将不再是线性的。

  • 开源地址:https://github.com/karpathy/autoresearch

03. 让多个大模型开会辩论,给你最终答案

提出一个问题,让 Claude 写一个答案,GPT 写一个答案,Gemini 也写一个。

然后让它们互相点评打分,最后由一个主席模型汇总出最终答案。

这就是 llm-council 的玩法。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

它是一个本地 Web 应用,界面看起来像 ChatGPT,但背后的机制完全不同。

你输入问题后,它通过 OpenRouter 将问题同时发送给多个 LLM,每个模型独立作答,然后互相评审和排名,最终由 Chairman LLM 综合得出最优回答。

Karpathy 认为,LLM 集成的潜力被严重低估了。

仔细想想,这很有道理。

单个模型存在偏见、盲区和幻觉。但如果你让多个模型交叉验证,互相挑刺,最终综合出来的答案质量会高得多。

这个思路不仅适用于问答。任何需要决策的场景,比如方案评审、代码审查、投资分析,都可以采用多模型辩论的方式。

配置也非常简单,通过 OpenRouter 可以随意组合模型,想加哪个就加哪个。已经有人 fork 了这个项目,并添加了 Ollama 本地模型支持,还有人制作了更现代的 UI。

  • 开源地址:https://github.com/karpathy/llm-council

04. 为全美国 342 种职业打分

这个项目 Stars 不多,但可能是最值得普通人关注的一个。

你的工作被 AI 影响的可能性有多大?

Karpathy 直接计算了全美国的职业。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

他从美国劳工统计局爬取了 342 个职业的数据,覆盖了全美 1.43 亿个岗位。

然后,让 LLM 为每个职业打出一个 0-10 分的 AI 曝光度评分——分数越高,被 AI 影响的风险越大。

最终,他将这些数据制作成了一个交互式 treemap 可视化图表。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

点击进去,就能看到每个职业的详细信息:薪资中位数、从业人数、预期增长率,以及 AI 替代风险评分。

数据一目了然。

这个项目发布后还有个小插曲,一度被删除,后来又重新上线。

X 上讨论非常热烈,很多人用自己的职业去查询,看看自己是否该学习新技能了。

其实还有一个中国版:madeye.github.io/jobs

  • 开源地址:https://github.com/karpathy/jobs
  • 在线体验:https://karpathy.ai/jobs/

05. 越用越聪明的个人知识库

这是 Karpathy 在 2026 年 4 月发布的一篇 Gist,但引发了巨大反响,获得了 5000 多个 Stars,评论区里涌现了各种开源实现。

我之前也写过相关文章,可以看看。

Karpathy加入Anthropic后,开源5个硬核项目:从100美元训练ChatGPT到AI自动做研究

他想要表达的意思是:大多数人使用 AI 与文档交互的方式是 RAG(检索增强生成),即上传一堆文件,AI 检索相关片段,然后生成答案。

问题是,每次提问,AI 都要从头开始检索和拼凑。

没有任何积累。 当问一个需要综合五篇文档的复杂问题时,AI 每次都要重新找到相关片段再拼凑起来。上次的成果全都丢失了。

Karpathy 的思路是 让 LLM 增量构建和维护一个持久化的 Wiki。

当你添加一个新的信息来源(文章、论文、播客笔记)时,LLM 不只是索引它,而是阅读后,将关键信息整合进已有的 Wiki 中。

更新实体页面、修改主题摘要、标注新旧数据的矛盾点、加强或挑战已有的综合结论。

知识被编译一次,然后持续更新,而不是每次提问都从头开始。

整个系统分为三层:

  • Raw sources: 你的原始文档,LLM 只读不写。
  • The wiki: LLM 生成和维护的 Markdown 文件,包括实体页、概念页、比较分析、综述。
  • The schema: 配置文件(比如 CLAUDE.md),告诉 LLM 如何组织 Wiki、如何处理新来源。

三个核心操作:Ingest(摄入新来源)、Query(提问)、Lint(定期健康检查,查找矛盾、过时信息、孤立页面)。

Karpathy 自己的用法是,左边开着 Claude Code,右边开着 Obsidian。

Claude 修改 Wiki,他在 Obsidian 里实时浏览结果。用他的话说:Obsidian 是 IDE,LLM 是程序员,Wiki 是代码库。

这篇 Gist 发布后,社区涌现了大量开源实现:有人做了桌面应用、有人做了 VS Code 插件、有人加入了知识图谱、有人做了完整的研究工作流。

评论区简直是一个 AI 知识管理工具的生态孵化器。

  • 开源地址:https://gist.github.com/karpathy/…

开源代码链接:https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f


关注“鲸栖”小程序,掌握最新AI资讯

本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:https://www.itsolotime.com/archives/35648

(0)
上一篇 1天前
下一篇 1天前

相关推荐