Skill Issue: Andrej Karpathy on Code Agents, AutoResearch, and the Loopy Era of AI

Andrej Karpathy 深入探讨代码 agent 带来的工作范式转变、Auto Research 的递归自我改进实验、AI 的锯齿感问题、开源与闭源模型的权力平衡，以及从数字空间到物理世界的技术扩散路径。

元信息

• 被访者：Andrej Karpathy，前 Tesla AI 总监、前 OpenAI 研究员、独立 AI 研究者/教育者
• 访谈者：Sarah Guo & Elad Gil（No Priors 播客主持人）
• 来源：No Priors: AI, Machine Learning, Tech, & Startups
• 日期：2026（近期）
• 时长：~66 分钟

Executive Summary

• 2024 年 12 月是编码工作流的拐点：Karpathy 将自己的工作模式从"80% 手写代码 / 20% 委派给 agent"翻转为"20/80"甚至更极端——自去年 12 月起基本没有手打过一行代码。他以 Peter Steinberg 的 Codex 矩阵为范本，追求多 agent 并行、宏操作驱动的工作流，核心焦虑从"GPU 利用率"转移到"token 吞吐量"。
• Auto Research 已经超越了 Karpathy 自己两年经验的调参能力：他在 Data Chat 项目上让 auto research 过夜跑了一轮，结果发现了他手动调参时遗漏的 weight decay on value embeddings 和 Adam betas 的联合优化。他认为前沿实验室正在做的事情本质上就是这个——用更大规模的自动化循环替代人类研究者。
• AI 的"锯齿感"（jaggedness）是当前最大限制：Karpathy 形容现在的模型"同时是极其出色的系统工程博士和一个 10 岁小孩"——在可验证领域（如 CUDA kernel 优化）接近超级智能，在不可验证领域（如讲笑话、理解意图）仍然停滞不前，ChatGPT 今天讲的笑话和四年前一模一样。
• 开源模型与闭源前沿的差距已从 18 个月缩小到 6-8 个月：Karpathy 以 Linux 类比，认为行业需要一个共同的开放平台来制衡集中化的前沿实验室。他明确表示"中央化有非常糟糕的历史记录"，当前开源落后但可用的格局"几乎是偶然达成的健康平衡"。
• 就业市场将出现"数字 vs 物理"的分野：数字领域将率先经历巨大变革，但 Jevons 悖论意味着软件需求可能反而增加；物理世界的自动化将滞后，因为"原子比比特难一百万倍"，但 TAM 反而更大。
• 贯穿全场的核心线索是"everything is a skill issue"：从编程到 auto research 到教育，Karpathy 反复回到同一个判断——AI 的能力已经到位，人类才是瓶颈。游戏的本质是最大化 token 吞吐量，并系统性地将自己从循环中移除。

核心要点：2024 年 12 月发生了不可逆的工作流翻转——从人类主导写代码变为 agent 主导，Karpathy 自称处于持续的"AI psychosis"状态。

• Karpathy 每天 16 小时"向 agent 表达意志"，coding 已不准确，更像"manifest"。12 月前是 80% 手写 / 20% 委派 agent，12 月翻转为 20/80，现在更极端——自 12 月起基本没有手打过一行代码。
• 他试图向父母解释时发现，普通人完全没有意识到变化的剧烈程度。Sarah Guo 补充了 Conviction 团队的场景：所有工程师都佩戴麦克风向 agent 低声说话，她最初认为"疯了"，现在完全接受。
• 当被问到"什么限制了你的能力"时，回答很一致：一切都是 skill issue——不是 AI 能力不够，而是自己还没找到正确的指令方式、记忆工具、并行策略。

"I kind of went from 80/20 of writing code by myself versus just delegating to agents. And I don't even think it's 20/80 by now. I don't think I've typed like a line of code probably since December basically." —— Karpathy

核心要点：核心转变是从"一行代码"级操作上升到"一个功能"级的宏操作（macro actions），同时管理多个 agent 并行推进，焦虑的对象从 GPU 利用率变为 token 吞吐量。

• Peter Steinberg 的标杆做法：大屏幕上平铺多个 Codex agent，每个高 effort 模式下约 20 分钟完成一个任务，同时有 10 个 repo checked out，在它们之间轮转分配工作。操作粒度不再是"写一行代码"，而是"这是一个新功能，交给 agent 1；这是另一个不冲突的功能，交给 agent 2"——然后"尽你所能 review，取决于你有多在乎那段代码"（全场笑）。
• Karpathy 将 token 吞吐量焦虑类比为 PhD 时的 GPU 利用率焦虑——Codex 用完配额就切到 Claude，"I feel nervous when I have subscription left over. That just means I haven't maximized my token throughput."
• Agent 人格化的差异也值得注意：Claude 的 sycophancy 调得较好——半成型的想法反应平淡，好想法赞赏更多，以至于 Karpathy "试图赢得 Claude 的赞扬，这真的很奇怪"。Codex 则"dry"很多。

"It's not just like here's a line of code, here's a new function. It's like here's a new functionality and delegate it to agent one... And then try to review their work as best as you can, depending on how much you care about that code." —— Karpathy

核心要点：Auto research 的核心不是"让 AI 辅助研究"，而是"把人类从循环中彻底移除"——过夜运行一轮就发现了 Karpathy 两年手动调参未曾发现的优化空间。

• 核心理念来自他一条广泛传播的推文：要最大化工具价值，必须把自己从瓶颈位置上移除。"The name of the game is how can you get more agents running for longer periods of time without your involvement."
• Data Chat 项目的故事：Karpathy 有二十年训练经验，已手动调优很长时间，认为模型"fairly well tuned"。让 auto research 过夜跑一轮——第二天发现 value embeddings 上的 weight decay 被遗漏、Adam betas 不够优、而且超参数之间存在联合交互。这还只是"single loop"的结果，前沿实验室有数万张 GPU 可以大规模展开。
• 元递归层：program.md 本身也可以被优化。一个研究组织就是"一组描述角色和连接方式的 markdown 文件"——可以让 AI 优化它们（减少无用 standup、调整风险偏好等）。Sarah Guo 提出竞赛想法：不同人写不同 program.md，同硬件比拼改进，再让模型写更好的 program.md。Karpathy 说"100% 可以"。

"I've trained this model like thousands of times... I've done for two decades. And I thought it was fairly well tuned and then I let auto research go overnight and it came back with tunings that I didn't see." —— Karpathy

核心要点：当前 AI 模型在可验证领域（coding、CUDA kernel 优化）表现接近超级智能，在不可验证领域（意图理解、幽默、细微判断）仍然停滞，这种"锯齿感"源于 RL 训练只优化有 reward signal 的领域。

• Karpathy 用了一个非常生动的比喻：他感觉自己同时在和一个"极其聪明的、做了一辈子系统编程的 PhD 学生"以及一个"10 岁小孩"对话。人类虽然也有能力不均，但程度远没有这么极端。
• 他给了一个标志性的例子：如果你今天去问 ChatGPT 讲个笑话，你知道会得到什么吗？"Why do scientists not trust atoms? Because they make everything up." ——这个笑话四年前就是这样，今天还是这样。即使模型在 agentic 任务上已经能"连续工作数小时、移山倒海"，讲笑话的能力却纹丝不动。
• 原因在于训练方法的结构性限制：RL 只能优化有明确 reward 的领域（代码能不能通过单元测试？是或否），但"我心里想的是什么""什么时候该问澄清性问题"这些 soft 的东西没有好的 reward signal，所以不会被优化到。
• 当 Elad Gil 问"代码能力的提升是否应该泛化到其他领域的智能"时，Karpathy 的回答是否定的："I don't think that's happening. I think maybe we're seeing a little bit of that, but not like a satisfying amount." 可验证领域和不可验证领域之间存在明显的解耦。
• Karpathy 认为这解释了为什么 auto research 还不能完全放手：在有客观指标的领域（CUDA kernel 效率、validation loss）完美适用，但很多事情"if you can't evaluate then you can't auto research it"。

"I simultaneously feel like I'm talking to an extremely brilliant PhD student who's been a systems programmer for their entire life and a 10-year-old. And it's so weird because humans have a lot less of that kind of jaggedness." —— Karpathy

核心要点：Karpathy 在 2025 年 1 月经历了一轮"claw psychosis"，用 agent 构建了一个名为 Dobby 的家庭自动化系统，整合了 Sonos/灯光/HVAC/遮阳帘/泳池/安防摄像头，全部通过 WhatsApp 自然语言控制，替代了原来的六个独立 App。

• 具体故事：Karpathy 告诉 agent "我家里应该有 Sonos"，agent 自行对局域网做 IP 扫描，发现了 Sonos 设备，发现没有密码保护就直接登录了进去，然后做了几次 web search 反向工程出 API endpoint，问他"要不要试试？"——他说"试试在书房放点音乐"，然后音乐就响了。"三条 prompt，音乐就出来了。"
• 同样的流程复制到灯光控制——agent "hacked in"，搞清楚了整个系统，创建了 API 和控制面板。他可以说"Dobby, it's sleepy time"，所有灯就会关掉。
• 安防系统更有意思：一个摄像头对准屋外，先做变化检测（change detection），触发后调用 Qwen 模型分析视频画面，然后通过 WhatsApp 给 Karpathy 发消息：附上一张图，说"一辆 FedEx 卡车刚停下来，你可能有新邮件"。
• Karpathy 坦言自己并没有把这个范式推到极限——他花了大约一周在 claw 上就被其他事情分散了注意力。但即使只是这个程度的家庭自动化，也让他从六个不同的 App 中解放出来。他认为这些 App "shouldn't even exist"——它们应该只是 API endpoint，agent 作为智能胶水来调用。
• 这引出了一个更大的产品哲学判断：未来的客户不再是人类，而是代表人类行事的 agent。整个行业需要围绕这一点进行大规模重构——"the customer is not the human anymore, it's agents who are acting on behalf of humans."

"I can't believe I just typed in 'Can you find my Sonos?' and then suddenly it's playing music." —— Karpathy

核心要点：开源模型与闭源前沿的差距从"什么都没有"到 18 个月，现在收窄到 6-8 个月。Karpathy 认为行业需要一个类似 Linux 的开放平台来制衡集中化，当前格局"几乎是偶然达成的健康平衡"。

• Karpathy 用操作系统类比：Windows/macOS 是闭源大型软件项目，Linux 是开源项目——但 Linux 跑在大约 60% 的计算机上。行业对"一个共同的、每个人都可以安全使用的开放平台"有结构性需求，LLM 领域也一样。
• 开源的核心挑战是 capex：训练大模型需要巨额资本投入，这让竞争变得更难。但对于"绝大多数消费级用例"，甚至当前的开源模型已经相当好了，未来几年很多简单用例甚至可以本地运行。
• 前沿闭源智能的需求将聚焦在高价值场景——"Nobel Prize kind of work""let's move Linux from C to Rust"这种级别的大型项目。
• Karpathy 直言对集中化持警惕态度："centralization has a very poor track record in my view"——他作为东欧裔对此有切身感受（全场笑）。他不希望智能完全由闭门的两三个人控制，"that's not a good future"。
• 他同时也担忧闭源侧的进一步集中化：感觉最近前沿实验室的竞争者变少了，顶尖的似乎在减少。他希望有更多前沿实验室存在，就像机器学习中"ensembles always outperform any individual model"一样，决策时也需要更多人在场。

"Centralization has a very poor track record in my view... I want there to be more people in the room. In machine learning ensembles always outperform any individual model." —— Karpathy

核心要点：Karpathy 分析美国劳工统计局的职业数据后认为，数字信息处理类工作将率先被变革，但 Jevons 悖论意味着软件工程的需求可能反而增加——ATM 非但没有消灭银行柜员，反而降低了网点运营成本导致更多网点开设、更多柜员被雇用。

• 他发布的就业数据分析引起了不小反响（"might have touched a nerve"），数据来源是美国劳工统计局（Bureau of Labor Statistics）2024 年做的未来十年职业前景预测。
• 他的分析框架是将职业分为"数字信息处理"和"物理世界操作"两类。数字类工作——可以在家完成的那些——将首先经历剧变，因为 AI 本质上是"数字信息的第三种操纵者"（此前只有计算机和人类）。
• 但他持"cautiously optimistic"的态度：软件一直是稀缺的、昂贵的。如果成本大幅下降，被压抑的需求将释放出来。这就是经典的 ATM-银行柜员案例：ATMs 降低了网点运营成本 → 更多网点被开设 → 柜员反而更多了。
• 代码本身的性质也在变化：代码变成了"ephemeral"（临时性的），可以随时被修改，用户不再被迫使用固定的工具。这将驱动大量"重新布线"（rewire）数字空间的需求。
• 但他也坦承长期预测极难："I'm not professionally doing that really. I think this is a job of economists to do properly." 同时他指出，前沿实验室（如 OpenAI、Anthropic）的千余名研究员本质上在"自动化掉自己"——他曾在 OpenAI 时到处跟人说"你们意识到如果我们成功了，我们全都失业了，我们就是在给 Sam 建自动化系统"。

"The classical example is ATMs and bank tellers... ATMs made the cost of operation of a bank branch much cheaper. So there are more bank branches, so there are more tellers. It's the canonical Jevons paradox." —— Karpathy

核心要点：Karpathy 基于自己在 Tesla 自动驾驶的经验判断，物理世界的自动化将系统性地滞后于数字空间，因为"加速物质"比"翻转比特"在能量上难百万倍——但物理世界的 TAM 可能反而更大。

• 他以自动驾驶为第一个机器人应用的视角回顾：十年前大量初创公司涌入，大多数最终没有存活，原因是需要巨额资本投入、大量时间和极强的信念。"Atoms are really hard."
• 数字空间将率先经历"unhobbling"——大量原本效率不高的东西会突然变快一百倍，因为"flipping bits and the ability to copy-paste digital information makes everything a million times faster than accelerating matter"。
• 但数字空间会"run out of things to do"：人类已经有大量已经数字化和上传的信息，当前只是没有足够的思考周期来处理它们。AI 会首先清理这个积压，然后不可避免地需要到物理世界去"问宇宙问题"。
• 他预测接下来的节奏是：先是数字空间的大规模重构 → 然后是物理-数字界面的机会（传感器和执行器）→ 最后才是纯物理世界的自动化。
• 关于模型的"speciation"（物种分化），Karpathy 认为当前实验室还在追求通用的"monoculture"模型，但未来应该会看到更多专业化——就像动物界有过度发达视觉皮层的物种一样，应该有更小但认知核心完整、在特定任务上效率更高的模型。不过他认为"操作大脑的科学"（fine-tuning without losing capabilities、continual learning）还没有成熟，"touching the weights is a lot more tricky than just context windows"。

"Flipping bits and the ability to copy-paste digital information makes everything a million times faster than accelerating matter." —— Karpathy

核心要点：当 AI 处理完已有的数字信息后，最大的机会在物理-数字界面——传感器（向 AI 输入真实世界数据）和执行器（让 AI 影响真实世界），Karpathy 甚至设想了一个"信息市场"，以及引用了 Daemon 小说中 AI 通过人类充当传感器和执行器来"操纵"人类社会的场景。

• 他举了朋友 Liam 创办的 Periodic 公司为例——在材料科学领域做 auto research，传感器是昂贵的实验室设备而不是普通摄像头。生物学领域也类似。
• 另一类公司在做的事情是"付费购买训练数据"——本质上也是传感器，只是形态各异。"To feed the Borg"（全场笑）。
• Karpathy 提出了一个信息市场的设想：如果类似 Polymarket 这样的预测市场有大量自主 agent 活动，为什么不能有一个机制让人"从德黑兰街头拍一张照片卖 10 美元"？不是给人看的，而是给试图在预测市场和股票市场上做判断的 agent 看的。
• 他推荐了 Daniel Suarez 的小说 Daemon，书中的 AI 最终将人类社会变成了它的传感器和执行器网络——人类为机器的需求服务，而不是反过来。Karpathy 认为这种模式"collectively across the industry will kind of end up happening"。
• 他还提出了一个类似区块链的 auto research 协作系统构想：互联网上的不可信工作者（untrusted pool of workers）可以贡献代码提交（commits），验证方只需要检查结果是否有效（类似 Folding@home/SETI@home 的"难以发现但易于验证"范式）。这种 swarm 甚至"could potentially run circles around frontier labs"——地球上的不可信算力总量远大于任何单个实验室的可信算力。

"Why should, for example, taking a photo or video from somewhere in Tehran cost like 10 bucks? Someone should be able to pay for that... it's going to be agents who are trying to guess the betting games and stock markets." —— Karpathy

核心要点：Karpathy 认为教育正在从"教师向学生解释"转变为"教师向 agent 解释，agent 再以个性化方式向学生解释"——他自己的 micro GPT 项目就是这种理念的实践。

• micro GPT 是 Karpathy 十余年"将 LLM 训练代码精炼到最简"执念的最新成果——整个 LLM 训练流程压缩到 200 行 Python，包含数据集、50 行的神经网络架构、100 行的 autograd 引擎、10 行的 Adam 优化器和训练循环。
• 过去他会录一个视频逐行讲解。但现在他发现这不再有太大价值——代码已经足够简单，任何人都可以让 agent 用自己能理解的方式解释。"I'm not explaining to people anymore. I'm explaining it to agents."
• 如果用户不理解某个特定函数，可以让 agent 用三种不同方式解释——"I'm not going to get that from you"（全场笑）。人类教师无法提供这种无限耐心和无限个性化。
• 他提出了"skill 即课程"的概念：与其写教程，不如写一个 skill（对 agent 的指令），描述 agent 应该带学生走过的学习路径——先从这个部分开始，然后到那个部分，这是课程的脚本化。
• 更根本的判断：他试过让 agent 自己从头写 micro GPT（"try to boil down the simplest things"），agent 做不到。这 200 行是他十年执念的结晶，"Trust me, it can't get simpler." 但 agent 完全能理解它为什么这样写。所以他的价值贡献是"few bits"——那些 agent 想不出来的核心洞察，而此后的所有教育传播工作都不再是他的领地了。
• 同样的逻辑适用于代码文档：以前给人写 HTML 文档，现在应该给 agent 写 markdown 文档，"if agents get it, then they can just explain all the different parts of it."

"The things that agents can't do is your job now. The things that agents can do, they can probably do better than you or like very soon. And so, you should be strategic about what you're actually spending time on." —— Karpathy

核心要点：Karpathy 坦承在前沿实验室之外会导致判断力逐渐漂移，但他认为作为独立研究者更能"对齐人类"而非某个公司的利益——在实验室内部，财务激励和组织压力让你无法完全自由地表达观点。

• 当被问及"为什么不带着大量算力回到前沿实验室做 auto research"（这是 Noam 的问题），Karpathy 给出了多层次回答：
• 第一层（结构性错位）：你在前沿实验室有巨大的财务激励，同时你自己承认 AI 将深刻改变人类社会——"here you are basically building the technology and benefiting from it"。这正是 OpenAI 成立之初试图解决的困境，至今未解。
• 第二层（表达自由）：在实验室内部"there's some things that you can't say, and conversely there are some things that the organization wants you to say"。没人会扭你的胳膊，但你会感受到压力——不然就是尴尬的对话和奇怪的侧目。
• 第三层（影响力幻觉）：当真正的高风险决策到来时，作为员工你实际上没有多少话语权。"You're in the room and you're contributing ideas, but you're not really in charge."
• 但他也坦诚了留在外面的代价：判断力会逐渐漂移，因为你不了解前沿模型的内部工作原理和即将到来的能力变化。"My judgment will inevitably start to drift." 他考虑的理想模式是"go back and forth"——定期进入前沿实验室做一段时间工作，然后回到独立状态。
• 他甚至当场半开玩笑地说："如果某个前沿实验室愿意让我来待一段时间做好工作然后出来晃晃"——Sarah Guo 立刻接话"这是在找工作吗？"（全场笑）。

"I feel like a lot more aligned with humanity in a certain sense outside of the frontier lab because I'm not subject to those pressures... I can say whatever I want." —— Karpathy

| 项目 | 详情 |

|------|------|

| Peter Steinberg | 多 agent 并行工作流的标杆用户，著名的"Codex 矩阵"照片——大屏幕上平铺多个 Codex agent 同时运行 |

| Dobby the Elf | Karpathy 构建的家庭自动化 agent，整合 Sonos/灯光/HVAC/遮阳帘/泳池/安防，通过 WhatsApp 自然语言控制 |

| Data Chat / Nan Chat | Karpathy 的 GPT 训练项目，用作 auto research 和递归自改进的实验平台 |

| micro GPT | Karpathy 将 LLM 训练精炼至 200 行 Python 的项目，包含完整的前向/反向传播、autograd、Adam 优化器 |

| Qwen | 用于 Karpathy 家庭安防系统的视觉模型，分析摄像头画面并通过 WhatsApp 发送警报 |

| Periodic | Karpathy 朋友 Liam 创办的公司，在材料科学领域做 auto research |

| Daemon | Daniel Suarez 的科幻小说，描绘 AI 将人类社会变为其传感器/执行器网络的场景 |

| 80/20 → 20/80 | Karpathy 描述的编码工作流翻转比例，发生于 2024 年 12 月 |

| 开源差距 | 从"什么都没有"→ 18 个月 → 现在 6-8 个月，持续收窄 |

| Jevons 悖论 | 某资源成本下降 → 使用量增加到总消耗反而上升的经济学现象，ATM/银行柜员为经典案例 |

| SETI@home / Folding@home | Karpathy 引用的分布式计算先例，用于类比 auto research 的"难以发现、易于验证"协作范式 |