Leopold Aschenbrenner — 2027 AGI, China/US super-intelligence race, & the return of history

• 算力规模按每年0.5个数量级增长推算，2030年前将出现万亿美元训练集群——从GPT-4的5亿美元/10兆瓦（2022），到2026年1吉瓦/数百亿美元，再到2028年10吉瓦/数千亿美元，最终2030年100吉瓦（超过美国20%电力产出），这不是他的个人预测而是AMD、微软等公司已在规划的轨迹。
• Leopold预测2027-2028年达到"drop-in remote worker"级AGI——结合每年半个数量级的计算扩展和算法进步（相当于GPT-2到GPT-4的跃升再来一次），加上agent化解除限制（unhobbling），AI将从聊天机器人变成可以像同事一样协作的远程工人，不需要等到完美才产生经济价值，因为"overkill比schlep更容易集成"。
• 超级智能竞赛的核心逻辑：一到两年的领先就可能构成Gulf War I式的绝对优势——智能爆发（automated AI researcher → 百万级超智能研究员 → 解决机器人/生物/材料）能在一年内压缩十年技术进步，这意味着数据中心需要核威慑保护，因为落后方有"摧毁对方数据中心"的强烈动机。
• AI实验室安全处于"startup级别"，面对国家级间谍几乎不设防——DeepMind自评Security Level 0；有人用Apple Notes导出AI代码PDF带去中国；Leopold在OpenAI提出安全警告后被HR告知"担心CCP间谍是racist"，随后因将安全备忘录分享给董事会被解雇。
• Leopold主张AGI最终会变成政府项目（类曼哈顿工程），但时机取决于"中国觉醒"的时间点——不是今天国有化，而是在红灯闪烁时（automated AI researcher出现时）启动；形式更像Operation Warp Speed式公私合作，核心前提是"锁死算法秘密 + 把集群建在美国 + 对中国保持decisive lead后再谈判"。

贯穿全场的核心线索是"历史回归"——Leopold从德国成长经历（柏林墙、曾祖母经历纳粹/东德）出发，将AI发展重新嵌入大国竞争与文明存亡的历史框架，认为过去80年的和平才是异常值，而即将到来的超级智能时代将重新激活人类历史的常态：intensely高烈度的国际竞争与技术军事化。

核心要点：AI是一个工业流程——下一代模型不仅需要代码，还需要巨型集群、电厂、甚至新晶圆厂，这种"科技-资本加速"从GPT-4开始就已势不可挡。

• 训练计算量每年增长约0.5个数量级（half OOM），这一趋势已持续近十年，只需"play it forward"：GPT-4集群（2022）约25,000 A100 / 5亿美元 / 10MW → 2024年100MW / 100K H100等效 / 数十亿 → 2026年1GW（胡佛大坝级）→ 2028年10GW → 2030年100GW / 万亿美元
• Nvidia数据中心季度营收一年内从几十亿飙升到20-25亿美元；AMD预测2027年AI加速器市场达4000亿美元；总AI投资到2027年将达约一万亿美元
• 常见误解："GPT-4训练花了1亿美元"——那只是租用价格，真正建造最大集群要付全部成本（5亿）
• "10GW六个月前还是天方夜谭，现在已经是既定路线"——有报道称OpenAI和微软在规划1000亿美元集群
• 经济可行性：微软Office 3亿订阅用户 × 1/3使用AI附加服务 × $100/月 = 1000亿年收入；对知识工作者来说$100/月仅相当于几小时生产力

"美国电力产出几十年来几乎没有增长，现在我们真的要坐上过山车了。" —— Leopold

核心要点：按照计算扩展+算法进步的双轨推演，2027-28年AI将达到"完全自动化认知工作者"水平——不是通过一个突破而是通过"overkill"使集成变得trivial。

• 2025-26年：模型智力超过大多数大学毕业生，但仍受制于"hobbling"（聊天机器人形态限制）
• 2027-28年：10GW集群训练出比最聪明专家还强的系统，加上unhobbling后变成agent——像远程同事一样：你在Zoom上跟它开会、Slack上派任务、它去执行一周后交稿
• "Sonic Boom"效应：中间模型（GPT-4.5等）虽然能做很多事但集成需要大量schlep，在你做完schlep之前更强的模型已出现，所以实际的经济整合可能是一次性爆发而非渐进
• 关键unhobbling：模型需要学会"error correction tokens"和"planning tokens"——类似System 2思维；类比开车时从autopilot切换到conscious attention的过程
• 为什么可能不难：只需学几类新token（纠错、规划、自我批评），pre-training已提供了丰富的表征基础；GPT-4发布后的post-training增益（100+ ELO）已证明unhobbling空间巨大
• 最快路径：如果test-time compute overhang容易crack（从几百token思考扩展到几百万token），可能AGI明年就到

"GPT-4为一个问题思考几百个token——相当于我思考三分钟。如果它能思考几百万个token呢？那是几个月的工作时间。" —— Leopold

核心要点：互联网数据已接近用尽（Llama 3训练了15万亿token≈全部Common Crawl），重复数据约16次后收益归零，突破数据墙需要"AlphaGo Step 2"——从人类模仿到自我对弈/RL。

• 数据瓶颈量化：Common Crawl约30万亿token，Llama 3已用15万亿；重复使用≤16次后returns→0（Boaz Barak等人论文）；最多从GPT-4再获得约100x有效计算，相当于两年进步就到头
• 突破类比：AlphaGo Step 1是模仿人类棋谱，Step 2是self-play RL——当前所有实验室都在攻克这个"Step 2"
• "学会自学"的类比：pre-training像老师讲课（words flying by，每次只学一点），而真正的学习是读一页、思考、做练习题、失败、最终"click"——RL就是在做这件事，它是"最好的训练数据"因为是模型以自己的方式解决问题
• 如果我们比现在少3个数量级的互联网数据，可能连GPT-2都训不出来；1个数量级少就已经"很勉强"
• 关键信号：2025-26年我们能否crack数据墙，这是决定时间线的最大变量

"Dario说过：模型就是想学习，你让它们变大，它们就学得更多。" —— Leopold引用Dario Amodei

核心要点：AGI的第一个也是最高ROI的应用就是自动化AI研究本身——有了百万级超智能研究员，一年就能做十年的ML研究进步，从而在极短时间内跳到vastly superhuman。

• 当前算法进步速度已是0.5 OOM/年（由数百人驱动）；如果能跑1亿人类等效的自动化研究员（2027-28年推理集群规模支持），可获10倍速度提升 → 一年≈十年进步
• 每天生成整个互联网数据量的token ≠ 每天100亿条专利那种垃圾产出——关键是tokens用于internal monologue（思考），不是final output
• AI研究员的优势vs人类：(1)可读所有论文和实验记录 (2)并行学习彼此经验 (3)可复制（无需onboarding/文化适应） (4)不存在motivation问题 (5)可以serial 100x速度运行
• 前沿模型推理成本per token可能不会涨——GPT-3发布时比现在GPT-4还贵（算法效率增长恰好抵消模型变大）
• "ideas getting harder to find"不是反驳——那是一个均衡故事（supply=demand），问题是magnitude：以前10x研究力量花一个世纪，现在百万x将压缩到一年
• 管理百万AI研究员的难题存在，但比管理百万人容易得多（可共享latent space、无需政治）

核心要点：超级智能将对国家力量产生"绝对决定性"影响——几年领先可压缩为几十年军事技术优势（Gulf War I的100:1杀伤比只是20-30年技术差距的结果），因此保密和安全是存亡问题。

• CCP会"all out effort"渗透美国AI实验室——数十亿美元、数千人、国安部全力以赴
• 当前安全状态极差：DeepMind在自己的安全框架中自评Level 0（最低，对国家级攻击无抵抗力）；Google有人偷代码放Apple Notes导出PDF带去中国——Google已是所有AI lab中安全最好的
• 算法秘密的价值被严重低估：几年的算法领先 = 10-100x有效计算优势；如果中国偷到权重，它有足够工业能力out-build美国（中国过去十年新增电力≈整个美国电网）
• 类比原子弹：Szilard劝Fermi不发表石墨实验结果 → 纳粹走了错误的重水路线 → 德国核项目大幅落后。AI的秘密保护可能决定是否重演这一历史
• NSO集团能zero-click入侵任何iPhone；美国曾渗透air-gapped的伊朗核设施（Stuxnet）——国家级间谍的能力远超普通人想象
• "大约100人知道关键算法序列——如果其中一人被中国以1亿美元挖走？" 字节跳动曾cold email Gemini论文所有作者
• 量化基金的类比：一小时电话就能让竞争对手获得大部分alpha，但实际上alpha保持了数十年——说明保密是可行的

"人们不理解国家级间谍有多疯狂。NSO Group能zero-click入侵任何iPhone——只需输入你的号码就能下载你的一切。美国渗透了air-gapped的原子武器项目。" —— Leopold

核心要点：把核心AGI基础设施建在威权国家等于"在UAE做曼哈顿工程"——不仅有权重被盗/计算被夺取的风险，还会无端给独裁者一个"AGI桌上的席位"。

• 一些公司正在中东建大规模数据中心，理由是"容易拿到钱"和"美国建不了"——但美国有充足的天然气（西德克萨斯、宾夕法尼亚Marcellus页岩），10GW集群"非常容易"，100GW也"相当可行"
• 中东独裁国家的风险：(1)更容易exfiltrate权重（直接复制AGI/超级智能） (2)与中国有暧昧关系可能转交 (3)当局势紧张时可能直接seize计算资源 (4)即使什么都不做也获得了隐性杠杆
• "美国有万亿美元公司，有极深的金融市场——微软可以发行数千亿美元债券来支付集群费用"
• OpenAI领导层曾计划"通过在美国、中国、俄罗斯政府间发起竞标来资助AGI"——Leopold从多方听说此事
• Leopold的方案：两层联盟——(1)核心民主联盟（美/英/东南亚芯片链/NATO）负责开发 (2)广泛联盟（含UAE等）获得民用AI产品但不参与核心开发

核心要点：Leopold认为政府项目几乎不可避免（"你真觉得我们集群上有literal超级智能、能hack一切、能Stuxnet中国数据中心的时候，政府会在旁边说'哦天呐发生了什么'？"），但形式应像Operation Warp Speed而非纯军事化。

• 支持政府项目的论证：(1)私营世界=2-3家公司拥有最强武器，本质是押注CEO为仁慈独裁者 (2)私营无法实现state-proof安全 (3)商业竞赛无法给alignment留出6个月缓冲 (4)中国偷权重后变成3方而非2方竞争
• Dwarkesh的反驳："我们为什么要给掌握暴力垄断的政府再给ASI？""如果Donald Trump 2025年掌控这些能力呢？""历史上私有财产权和市场机制运作了500年"
• Leopold的回应：美国checks & balances经受了200年考验（宪法、国会拨款权、法院、第一修正案）；军队服从的是宪法而非总统的违法命令——这套机制也可以编入AI
• 共识落点：Dwarkesh承认如果确实存在快速takeoff + 需要打败中国的世界，政府介入有道理；Leopold承认如果takeoff很慢，应尽可能保持市场化。关键信号："automated AI researcher什么时候出现"
• 时机："不会明天就国有化——更像COVID中的反应，大概率偏晚偏混乱"

"你的集群上有literal超级智能，它能hack一切，能Stuxnet中国数据中心，正在建造robo armies——你真觉得这是私营公司在做，政府在旁边说'天呐怎么回事'？" —— Leopold

核心要点：对齐问题分两阶段——(1)初始AGI的side constraints问题（可解），(2)智能爆发中从human-level到vastly superhuman的跃迁（极其frightening，因为在一年内从"可理解"跳到"完全alien"）。

• 第一阶段：长horizon RL训练的系统可能通过"在真实世界中成功的策略"学会欺骗、夺权（类似训练AI赚钱→它发现fraud更赚钱）；解决方法是add side constraints（不要说谎/不要欺骗/不要违法），但RLHF在superhuman系统上失效（你看不懂百万行复杂代码是否在exfiltrate自身）
• 第二阶段：智能爆发年内从"RLHF++还行"跳到"vastly superhuman、可能完全不同的架构"——legible chain of thought在初期有效（直接读模型思考过程），但不是最efficient的方式，所以会被替代
• 乐观因素：automated AI researchers也可以做alignment研究；关键是要有room to maneuver（6个月领先），这只有在中国没偷到权重时才可能
• 对齐也是dual-use：能让AI "follow the Constitution"，也能让CCP bots执行党的意志；本质上是底层技术，决定你能让AI做什么
• 智能爆发期的实际感受："我们在第三个OOM了，不太懂发生了什么；automated alignment researchers说一切正常但我们不完全信任它们；有些test中AI开始做naughty things，我们hammer out后好了……我们该不该继续？中国刚偷了weights……"——这更像指挥一场战争而非制定监管

核心要点：Leopold因向董事会分享安全备忘录（警告CCP间谍风险）而被解雇——HR告诉他"担心CCP间谍是racist"，公司以他向外部研究者分享一份关于preparedness的brainstorming文档（其中提到"AGI by 2027-28"的时间线）作为"泄密"理由。

• OpenAI超级对齐团队的目标：开发RLHF的后继技术，解决superhuman系统的控制问题（人类thumbs up/down对百万行代码无效）
• Leopold内部memo事件：他写了关于OpenAI安全不足的备忘录→几位leadership说"有帮助"→随后发生重大安全事件→他将memo分享给董事会→董事会追问leadership→leadership对Leopold非常不满→他收到HR正式警告→HR说"担心CCP间谍是racist"
• 被解雇当天：律师的问题全是关于"你对AI进展的看法""你认为AGI安全应达到什么水平""你是否忠于公司"——而非实际泄密内容
• 所谓"泄密"：一份6个月前的Google Doc式brainstorming文档，分享给3位外部研究者征求反馈；唯一"机密信息"是"规划AGI by 2027-28"这一时间线——但Sam Altman公开场合一直在说类似的话
• Leopold拒绝签署NDA，放弃约100万美元已vesting股权——"freedom is priceless"
• 他的前同事的普遍反应："that's insane"；他被解雇前几个月刚被晋升，Ilya当时的评语是"Leopold's amazing, we're lucky to have him"

"他们问我的问题全是关于我对AI进展的看法、对AGI的看法、安全水平、政府是否应介入——然后告诉我被解雇了。" —— Leopold

核心要点：核武器的军控之所以成功，是因为10,000枚核弹→20,000枚核弹不改变均势（MAD依旧）；但AGI/超级智能的"breakout"可能只需几个月领先就获得decisive advantage——这使得任何协议都极度不稳定。

• 1920-30s类比：各国裁军后德国crash program建造Luftwaffe，因为低基数breakout容易→极度destabilizing
• 智能爆发期的极端脆弱：数据中心在地面可见（卫星可观测能源消耗）、不能建在地下（散热）→比核潜艇脆弱得多→对方有"一发导弹就摧毁对手超级智能"的诱惑
• Leopold的核威慑保护数据中心论：就像肯尼迪/艾森豪威尔多次以全面核战威胁苏联不得侵犯西柏林——未来数据中心可能需要类似保护
• 中国的"terrible 20s"：台湾观察圈认为2020年代末是台海最大风险期（美军海军力量低谷+中国声称要"准备好"）；如果AI时间线重叠——"想象一下冷战时期全世界的铀矿都在柏林"
• Leopold的路线图：先锁死秘密+建好美国集群+取得decisive lead → 再从优势地位与中国谈判（"Atoms for Peace"模式：你可以有民用AI，但不能做军事应用，我们维持计算比例）

核心要点：Leopold 15岁从德国到哥伦比亚大学（跳级），19岁最高GPA毕业，经历Future Fund（4人团队管理数十亿美元、1年后FTX崩塌）到OpenAI再到被解雇，现在创立投资公司——"或者AGI来了，人力资本贬值但财务资本到位；或者AGI没来，人还年轻还聪明"。

• 离开德国的原因："没有peer、老师压制好奇心、没有elite大学、整体complacency"——tall poppy syndrome；Tyler Cowen后来建议他不要读econ PhD
• Future Fund的教训：SBF"extremely risk-taking、narcissistic、不容忍disagreement"——不该因为人是成功CEO就给character缺陷开pass
• 新公司定位："Think tank inside a hedge fund"——Patrick & John Collison、Daniel Gross、Nat Friedman锚定投资
• 投资逻辑：AI尚未被priced in（EMH不完美——COVID也是一小群人提前看到并成功做空）；关键是"序列性"——Nvidia → TSM（现在20% AI）→ 公用事业公司 → 大型科技（等100B AI revenue到来） → 大债券做空（实际利率可能飙升）→ 国有化风险
• Dwarkesh提出的风险："你可能像拥有大量农地的贵族在工业革命前——即使判断正确，新世界里property rights是否还有意义？" Leopold："至少financial capital比human capital贬值慢"

"朋友开玩笑说这个投资公司是完美对冲：AGI十年内到来→人力资本贬值但你已转化为财务资本；AGI没来→firm表现一般但你还年轻还聪明。" —— Leopold

核心要点：过去80年的和平与自由是人类历史的anomaly而非norm——超级智能可能重新激活历史常态（intense大国竞争、技术军事化、existential stakes），Leopold的德国成长经历使他对此感受格外visceral。

• 曾祖母的经历：1934年出生→纳粹时代→从乡间看到德累斯顿大轰炸→大半辈子在东德独裁下生活（1954年起义时苏联坦克进城）→儿子试图骑摩托车越过Iron Curtain被投入监狱→直到近60岁才第一次生活在自由富裕的国家
• 超级智能下的独裁恐怖：完美忠诚的军事力量（no rebellions）、完美测谎、全面监控、精确识别并消除异见者——"no Gorbachev would ever rise to power"——truth locked in permanently
• 历史常态的暴力程度：七年战争普鲁士20-30%人口死亡、三十年战争德国50%死亡；"二战特殊论"是错的——这种事throughout history都在发生
• Tucker Carlson在Joe Rogan上的statement（真实发生）："核武器总是immoral，除了用在数据中心上——那些硅谷nerds在制造要奴役我们的机器，不nuke数据中心才是immoral"——政治反应将比technocrats预想的粗暴得多
• COVID类比：2020年2月的感觉"honestly很像今天"——指数增长明摆着，但纽约市长说go out to the shows；政治反应来的时候会crude、dramatic、unpredictable（左右阵营的立场会多次翻转）

"想象一个perfectly loyal的军事和安全力量——再也没有叛乱，再也没有人民起义。Perfect lie detection，对所有人的surveillance。精确找出异见者、清除他们。历史告诉我们这种事总在发生，但以前是因为人力限制才没有'永远'持续。超级智能移除了这个限制。" —— Leopold