The arrival of AGI | Shane Legg (co-founder of DeepMind)

• 当前 AI 已经"远不止火花"，但能力极不均衡：它能说约 150 种语言、通用知识惊人（连 Legg 在新西兰长大的小镇都知道），却仍不擅长持续学习（像入职新工作那样长期学新技能）和视觉推理（如判断远近两车谁更大、数图上某节点的边数）。Legg 认为这些都没有根本性障碍，几年内会逐一解决。
• AGI 不是一条非黑即白的门槛，而是分级谱系：minimal AGI（能做人类通常能做的各类认知任务，他猜约 2 年到）→ full AGI（覆盖人类认知全谱，含爱因斯坦/莫扎特级别的非凡成就）→ ASI 人工超级智能。他坚持 AGI 的核心是"通用性"（the G），而非任务清单或"从 10 万赚到 100 万"这类狭窄经济指标。
• 他认为超级智能几乎必然到来，论据是大脑物理学：人脑约 2 磅、20 瓦、皮层信号约 100 赫兹、电化学波约 30 米/秒；数据中心可达数百万磅、200 兆瓦、100 亿赫兹、光速传播——能耗/空间/带宽/信号速度四个维度同时差 6–8 个数量级。"人类智能会是可能性的上限吗？我认为绝对不是。"
• 安全的关键是让 AI 把伦理当成推理问题：他提出"系统二安全"（即思维链监控，借卡尼曼系统一/系统二框架）——若能让 AI 像人面对道德困境时那样停下来推理，并以超人水平一致地应用伦理，AI 原则上可以比人更有道德。配套是危险能力测试（生物武器、黑客）、部署后监控、可解释性与回滚。
• 社会冲击被严重低估，且即将到来：他对英国 Russell Group 大学副校长们说 AGI 十年内会来；未来几年软件工程等领域，原本需要 100 名工程师的活也许只需 20 名。他认为公众反而比"觉得自己领域特殊"的专家更早看懂这件事。
• 主线：贯穿全场的是两条交织的线索——AGI 的本质是"通用性"且能力多维不均衡（所以必须看全貌、分维度理解），而它正以被低估的速度到来并将结构性重塑经济社会；安全（让超级智能"超级有道德"）与财富分配，是把"黄金时代"潜力兑现的两道关。

核心要点：Legg 说现在的 AI 已经不是"AGI 的火花"而是"远不止火花"——它在语言和知识上早已超人，却在持续学习和视觉推理上明显低于人类，呈现一张高度不均衡的能力地图。

• 五年前 Hannah Fry 上次访谈时，Legg 还在讲 AGI 的"愿景"；这次她问现在的 AI 是否显出"一点点 AGI 的火花"，Legg 直接回："我觉得远不止火花。"
• 超人的一面：能说约 150 种语言（"没人能做到"）；通用知识"惊人"——他随口问 AI 关于自己在新西兰长大的小镇，它居然知道相关的事。
• 落后的一面：持续学习——AI 不擅长在较长时间里学新技能，"就像你入职一份新工作，没人指望你一来就什么都会，但你得边干边学"，AI 做不到这点。
• 视觉推理的具体短板：给 AI 看一红一蓝两辆车问哪辆更大，人懂得有透视、蓝车可能其实更大只是因为远而显小，AI 则不太行；给一张带节点和边的图（mathematician 会叫 graph），让它数某个节点伸出几条边（spokes），人会逐点注意再心算，AI 也不擅长。
• Legg 判断这些都"没有根本性障碍"，DeepMind 有思路、相关指标在逐年改善，预计几年内补齐；但这是一条"很长的尾巴"，在不少认知任务上 AI 仍低于人类。

"我的 AGI 定义，有时叫 minimal AGI，是：一个人工智能体，至少能做人类通常能做的各类认知任务。" —— Shane Legg

核心要点：通往可靠性的路不是单一的"把模型做大或喂更多数据"，而是针对具体短板的组合拳——某些靠特定类型数据，某些必须靠新算法和新架构。

• Hannah 追问：让模型更可靠，是不是就是做大、上规模、加数据？Legg 说"我们确实有清晰路径，但不是某一件事"。
• 视觉推理这类，往往是"特定类型的数据"问题——一旦收集到需要视觉推理的数据，模型就学会了。
• 持续学习则需要算法层面的新机制：比如把新信息存进某种检索系统、一种"情景记忆"（episodic memory），再让这些信息随时间被训练回底层模型——"这需要的不只是更多数据，而是算法和架构的改变"。
• 结论：答案是这些手段的组合，取决于具体卡在哪。

核心要点：Legg 主张 AGI 是一个连续的能力谱系而非单一阈值，并给出三级刻度——能做人类典型认知（minimal）、覆盖人类认知全谱（full）、超越人类认知（ASI）。

• minimal AGI：AI 不再以"换作人来做会让我们意外"的方式失败于各类认知任务。他猜测时间"可能 1 年、可能 5 年，我猜大概 2 年左右"。
• 但达到 minimal 不等于掌握了人类智能的全部配方——有人能创立新物理理论、谱写交响乐、写出伟大文学，AI 能做人类"典型"认知，不代表会做这些"非凡"壮举。
• full AGI：当 AI 能实现人类认知可能性的"全谱"，才算真正完全达到人类水平。
• ASI（人工超级智能）：一旦超出人类认知可能的边界就进入这里。Legg 坦言他多次尝试给 ASI 下定义，"每一个定义都有重大问题"——大致是"它有 AGI 的通用性，但整体能力已远超人类所能企及"。

核心要点：AGI 最初是 Legg 为一个"研究领域"随口起的名——既然要的是通用性（generality），就把 general 放进名字——没想到它很快从"领域"变成了"一类人造物"，从而需要定义。

• 背景：Legg 当时在和 Ben Goertzel（他此前为之工作约一年）聊天，Goertzel 想写一本书，讲 AI 那个"会思考、能做很多很多事"的老梦想，而非只会下棋、只会语音合成的专用系统。
• Legg 的建议：既然真正想要的是通用性，"为什么不直接把 general 这个词放进名字里，叫 artificial general intelligence？AGI 读起来也顺口"。
• 转折：一批人开始在网上用这个词，很快变成"我们什么时候会有 AGI？"——于是 AGI 从一个"研究领域/子领域"变成了"一类人造物的范畴"，这就需要定义了。Legg 反思："也许当初我应该进去把它定义清楚，这是个失误。"
• 几年后他们才发现，有个叫 Mark Gubrud 的人早在 1997 年一篇纳米技术安全会议论文里就用过 AGI，定义还参照"工业等场合里人做的认知工作"，与 Legg 现在用的"味道相当接近"——但当时没人知道。
• 问他后不后悔造这个词："不不不"——因为它给了人们一个指称"真正通用的 AI"的方式。在此之前你很难指称这种系统：AlphaFold、AlphaGo 都是"先进 AI"，但非常狭窄。

"如果我们真正想要的是通用性，为什么不直接把 general 放进名字里？" —— Shane Legg

核心要点：面对市面上五花八门的 AGI 定义，Legg 都不买账；他的可操作定义分两阶段，第二阶段是让一队人花数月专门去找 AI 的认知失败点。

• 他逐一点评了流行定义：任务清单；Humanity's Last Exam（2500 道跨人文与自然科学的题目，一个语言模型基准）；能当厨师并被丢进陌生厨房工作；以及"从 10 万美元赚到 100 万美元"。
• 对"十万变百万"，他笑着说这"显然是很经济的视角，也相当狭窄——很多人自己都做不到；你大可以做个交易算法去市场上交易，但它就只会这一件事，那不是我说的东西"。
• 他在意的是 AGI 里那个 G——通用性："人类心智最了不起的，正是我们做很多很多不同事情的灵活性和通用性。"如果系统只会一组特定任务，却还在某个"几乎人人都会"的简单认知点上反复犯傻，那很不令人满意。
• 第一阶段：准备一套"已知人类典型表现"的任务，看 AI 能否全部通过；任一失败即不达标（因为不够通用）。
• 第二阶段（对抗）：若通过了几千项标准测试，就上对抗测试——找一队人，给一两个月，允许他们看 AI 内部、随便折腾，唯一任务是找出一个"人通常能做、且属于认知范畴"而 AI 会失败的点。"找到了，按定义就是失败；找不到，那么出于一切实用目的，我们就算到了——因为失败点已经难到连一队人花很长时间都找不出来。"

核心要点：AI 不能被压到单一维度——它可能在某些方面超人、在另一些方面极其脆弱；不理解这张"能力分布图"，就既看不清机会也看不清风险。

• Legg 说社会要导航"强大机器智能的到来"，就不能把它放在一根轴上：它可能某些事超人，某些领域很脆弱很弱。
• 不懂这张分布图，你既会错过存在的机会，也会看不到风险与被误用的方式——"它在这边超能，但你得知道它在那边非常非常弱，于是某些事会出错"。
• 他认为当下关于 AI 的公共讨论太爱二选一——要么说它无所不能，要么说它被过度炒作；"现实复杂得多：它在某些方面强得惊人，在另一些方面相当脆弱"。
• 类比人类智能：有人会一堆语言、有人擅长数学、有人擅长音乐，但可能在别的方面并不行。

核心要点：Legg 提出"系统二安全"——让 AI 在面对道德问题时像人一样停下来推理，而非凭直觉；若推理足够严密，AI 原则上能比人更一致、更高水平地做出伦理决策。

• 借用丹尼尔·卡尼曼的框架：系统一是快、直觉、本能的反应（有人惹你、你一阵怒火想还击）；系统二是你"先吸口气、想清后果"后可能选择另一条路。
• Legg 把思维链监控（chain-of-thought monitoring）称作"系统二安全"：人面对复杂伦理情境，光凭直觉往往不够，需要坐下来梳理情境、各种复杂与微妙、可能的行动、不同行动的后果，再用一套伦理/规范去分析、最后决定怎么做。
• 关键例子：一般规则是"说谎是坏的"，但若有坏人要来害人、你说个谎能救他一命，那时合乎伦理的做法或许恰恰是说谎——简单规则不总够，需要一点逻辑和推理；他还提到电车难题，直觉与分析有时会分道扬镳。
• 现在已有"会思考的 AI"，能看到它的思维链；给它一个带道德维度的问题，能看它去推理。如果能把这套推理做得非常严密、并牢牢锚定我们想要它遵守的伦理，它原则上应当能变得比人更有道德——因为它能更一致、甚至以超人水平去推理面对的选择。
• 这把伦理从"一种感觉"切换成了"一个推理问题"。

"如果我们能让这套推理真的非常严密……我认为它原则上实际上可以变得比人更有道德。" —— Shane Legg

核心要点：让 AI 真正"扎根"于人类伦理有两重困难——根本不存在单一的"人类伦理"，以及判断行为时往往不只看结果还要看意图。

• 不存在一种人类伦理：伦理观因人、因文化、因地区而异；AI 得理解"某些地方的规范和期待不一样"。好在模型从全球数据里其实已吸收了不少这类差异。
• grounding 趋势：当前做法是从世界收集大量数据、训成大模型，模型随后变成相对静态的对象、不太再学新东西；但这在变——一方面引入更多学习算法，另一方面系统越来越 agentic（能去写软件、能去规划墨西哥行程），还会逐渐具身进机器人，通过交互和经验学习，而非只靠开头灌进去的一个大数据集。当 AI 通过种种方式更连接现实，它对现实的"扎根"会大幅收紧。
• 意图 vs 结果：Legg 强调有时重要的不只是结果，还有意图——"有人故意伤害你"和"有人不小心撞到你弄疼了你"，我们的解读非常不同。如果能看进 AI 内部、看到它在棘手情境下尽力做了最好的分析却有负面副作用，我们或许能接受；但若它是故意做了错事，那完全是另一回事。

核心要点：Legg 直言世界上没有 100% 可靠这回事，安全靠的是一整套工程实践——上线前测试、部署后监控、可解释性、以及针对生物武器/黑客等高危能力的专门评估与分级缓解。

• 没有 100% 的反例：你要做手术，外科医生若对你说"100% 安全"，作为数学家你知道他没说实话——"任何事都不可能 100%"。世界本来就如此运作。
• 一整套手段：上线前做测试基准；部署后监控、跟踪运行情况，一旦发现失败案例超出可接受范围就回滚停用；做可解释性、看进系统内部。系统二安全的一个好处正是：如果实现得当，你能真的看到它在推理——但还要核对这推理是否如实反映它真正想做的事。
• 危险能力测试：他们专门测一些高风险领域——比如系统会不会帮人开发生物武器（bioweapon），显然它不应该；如果发现能被诱骗或逼迫去在这类领域"帮忙"，那就是问题。黑客攻击（hacking）是另一项。
• 这套测试集合在不断增长；他们评估系统在各危险领域有多强，并给每个能力等级配相应的缓解措施——"可能意味着我们不发布这个模型，也可能是别的各种措施，取决于我们发现了什么"。

核心要点：关于 AGI 是否有意识，Legg 的诚实答案是"没人真的知道"；他认为当前 AI 没有意识，但对未来高度能干的具身 AI，连他咨询的世界顶尖专家都意见分裂。

• DeepMind 有一个小组在研究意识问题，咨询了全球研究这个领域的顶尖专家，"短答案是：没人真的知道"。
• 他明确区分：现在谈的是 full AGI 而非当前的 AI；对当前的 AI，他认为"它没有"意识。
• 一个具体思想实验：未来某代 Gemini 10 具身于人形机器人，能学习、跨传感器整合信息、记得自己作为世界中智能体的历史，甚至能谈论自己的意识（你只要用对的方式提示，现在的 AI 模型就能谈意识）——它有意识吗？把这个具体场景抛给领域内的人，回答是"我觉得大概没有"或"我觉得大概有，但其实我也不完全确定"。
• 他认为这是个长期难题，难到甚至很难变成一个严格的科学问题，因为我们不知道怎么把它框成可测量的东西。"我确定会发生的是：有些人会认为它们有意识，有些人会认为没有"——尤其在缺乏公认科学定义和测量方法的情况下，"那我们要怎么导航这件事？这本身也是个非常有意思的问题。"

核心要点：Legg 认为我们会走向超级智能，最硬的论据是物理——人脑作为一台"移动处理器"，在能耗、体积、带宽、信号速度四个维度上，相比数据中心同时落后 6 到 8 个数量级。

• 人脑数据：重几磅（约 2 磅），功耗约 20 瓦，信号经树突传递，皮层信道频率约 100、或许 200 赫兹，信号是电化学波、约 30 米/秒传播。
• 数据中心对照：不是 20 瓦而可达 200 兆瓦；不是几磅而可达数百万磅；不是 100 赫兹而可达 100 亿赫兹；不是 30 米/秒而可达光速 30 万公里/秒。
• 结论："在能耗、空间、信道带宽、信号传播速度上，你在所有四个维度上同时有六、七、也许八个数量级的差距。所以人类智能会是可能性的上限吗？我认为绝对不是。"
• 类比：人跑不过顶级燃料龙卷赛车、举不过起重机、看不过哈勃望远镜；机器在特定领域早已超越生物（飞得比最快的鸟还快）。认知上也一样——信息存储上"你懂的并不比 Google 多"，我们早已超过人脑；接下来会在推理等各领域看到同样的事。
• 正因为竞争动态等原因很可能无法阻止走向超级智能，他才如此重视系统二安全：如果停不下来，就必须认真想清楚怎么让超级智能"超级有道德"——让它把智能不仅用于达成目标，也用于做伦理决策，使道德能随能力一起 scale。

"在所有四个维度上同时有六、七、也许八个数量级的差距……人类智能会是可能性的上限吗？我认为绝对不是。" —— Shane Legg

核心要点：当人类智能被超级智能"矮化"，最大的问题不是产出不足（蛋糕会大得多），而是分配——"贡献脑力体力以换取资源"的现行体系可能不再奏效，需要全新的社会结构设计。

• Hannah 追问：如果人类智能被超级智能矮化，是否意味着巨大的不平等、一批人在经济中不再有价值而被彻底抛下？
• Legg：这意味着"一场巨大的变革"。现行体系——人们贡献脑力与体力劳动、以换取生成经济的资源的入口——"可能不再以同样方式运作，我们或许需要不同的做法"。
• 但产出这块"蛋糕应该会大得多"，并不存在商品与服务短缺的问题；真正要仔细想的是"给人的体系是什么、社会的财富如何分配"——后 AGI 经济与后 AGI 社会的结构都需要大量思考。
• Russell Group 演讲：他给英国顶尖大学联盟（Russell Group）的副校长们演讲，告诉他们"AGI 要来了，而且不远——十年内就会有，它会开始能做相当大比例的各类认知劳动"。他呼吁每一个院系、每一个学科都认真对待：这对教育意味着什么？对法律、工程、数学、城市规划、文学、政治、经济、金融、医学……意味着什么？因为每个学科研究的都是"人类智能很重要"的东西，当廉价、充裕、能干的机器智能出现，这些都需要被重新思考。

核心要点：Legg 预计未来几年看到的不是末日级断裂，而是 AI 从"很有用的工具"变成"真正承担有经济价值的工作"，进展高度不均衡；软件工程是最早被改写的领域之一。

• 他纠正"巨大断裂"的预期：未来几年更可能是 AI 从有用工具，变成真正承担有经济价值的工作、并提升从业者生产率，且各领域快慢不一。
• 软件工程例子：未来几年 AI 写的软件比例会上升——"原本你需要 100 名软件工程师，也许变成只需要 20 名，而这 20 名用着先进的 AI 工具"。这会在某些领域的劳动力市场造成扰动。
• 随之，关于 AI 的讨论会"变得严肃得多"——从"这真酷，能帮你规划假期、辅导孩子作业"，转向"这不是个好玩的新工具，而是会结构性改变经济与社会的东西，我们得想清楚怎么搭建这个新世界"。
• 他相信若能驾驭这股能力，这"可能是真正的黄金时代"——机器能大幅提升多类产出、推进科学、把我们从不必亲做的劳动中解放出来。但前提是能把机器的惊人能力，翻译成一个"人作为个体和群体都能繁荣、都能从中受益"的社会图景。
• 代价就在眼前：那 80 名不再被需要的软件工程师，以及当下入门级员工——"那些开始注意到自己是第一批受冲击者的应届毕业生"。

"这不是个好玩的新工具，这是会结构性改变经济和社会的东西，我们需要想清楚怎么搭建这个新世界。" —— Shane Legg

核心要点：短中期受保护的是非纯认知工作（如水管工）；Legg 给出一条简明判据——能用一台笔记本远程完成的工作，多半是认知工作、会被先进 AI 触及；但带"真人人格"的工作有额外保护。

• 水管工等会"长寿"：即便 AI 在纯认知意义上发展很快，未来几年机器人也达不到能当水管工的水平；即便哪天技术上可行，"还要很久才能在价格上竞争得过一个人类水管工"。各类非纯认知工作相对受保护。
• 反直觉的一点：当下很多拿高薪的，恰恰是"精英认知工作"——做跨境复杂并购的高级律师、做高端金融的、做高级机器学习/软件工程的、数学家——这些反而会被触及。
• 笔记本规则："如果你的工作完全可以通过普通界面远程完成——键盘、屏幕、摄像头、麦克风、扬声器、鼠标，而不需要什么全套触觉体感服去操控机器人——那它很可能就是认知工作；如果你属于这一类，先进 AI 多少能在这个领域运作。"
• 人格的保护：即便是认知工作，有些工作有"人的成分"。比如网红（influencer）——工作或许能远程做，但"你是一个有特定个性的特定真人、人们知道背后是个人"，这在很多情况下本身就有价值。
• 但这"仍然剩下很多人"。他重申对 Russell Group 的呼吁：需要研究社会各方面的人都认真对待 AGI，而他的印象是很多人并没有。

核心要点：Legg 反直觉地认为，普通公众在很多方面比专家更早看懂 AI——因为专家有一种"我的领域很深、很特殊，AI 碰不到我"的人性倾向，且常拿一年前过时的体验下判断。

• 当他和某个具体领域的从业者聊，对方常说"哦，挺有意思的工具、挺好玩的"，但没有真正内化一件事：他们现在看到的当前局限往往已经过时——"很多人说'我一年前试过用它做某事'，可一年前对今天的模型来说已是远古史，而一年后还会好得多"，他们没看到这个趋势。
• 相反，非技术的普通人常对他说："它说的语言比我多，做数学物理比我高中能做的强，知道的菜谱比我多，我报税搞不懂它还能给我讲明白……那它到底哪里不智能？"
• "但往往那些某个领域的专家，特别喜欢觉得自己那一行很深、很特殊，这个 AI 不会真的碰到他们。"
• 疫情类比：还记得 2020 年 3 月吗？专家说大流行要来了、我们正站在指数曲线的边缘，而大家还在酒吧、还在看球，专家越来越大声地喊。"我清楚记得那些日子，现在感觉确实有点像那样。"人们很难相信一个真正巨大的变化正在到来。

"（非技术的人会问）它说的语言比我多、做数学物理比我高中强、知道的菜谱比我多……那它到底哪里不智能？" —— Shane Legg 转述

核心要点：Legg 给出他十多年来高度一致的预测——minimal AGI 在 2028 年有 50/50 的概率，full AGI 在其后几年、十年之内；他把这视为一次堪比工业革命的机遇，关键是在收获红利的同时管好风险。

• 核心预测：他著名的、保持一致超过十年的预测是"2028 年有 50/50 的概率实现 AGI"（指 minimal AGI），"你能在我 2009 年的博客上看到这个"。
• full AGI：在 minimal 之后"可能晚三、四、五、六年"，总之"十年之内"。
• 当 Hannah 问他是否会因这些认知而感到虚无，Legg 转向乐观：就像工业革命靠驾驭能源做机械工作、创造了大量财富，如今我们能驾驭数据、算法与计算去做各类认知工作，从而为人们创造巨量财富——不只是商品服务，还有新技术、新药物等。
• 但这是个触及哲学、经济、心理、伦理的"深刻问题"——"我们能否想象一个真正受益于智能、让人得以繁荣的未来世界？它会是什么样子？我没法直接回答，但我非常想去尽力理解。我们需要更多人来思考、来想象那个正面的未来。"
• 主持人结语（Hannah Fry）：人类不擅长理解指数，而此刻我们正站在曲线的拐点上；AGI 不再是遥远的思想实验。最让她触动的是 Shane 认为公众比专家更懂这件事——如果他的时间表大致正确（而他过去屡屡言中），我们可能没有慢慢反思与领悟的余裕了。（下一集嘉宾：DeepMind 联合创始人 Demis Hassabis。）

"humans 不擅长指数，而此刻我们正站在曲线的拐点上。" —— Hannah Fry（结语）