#337.AI的下一程：Ilya Sutskever谈从“规模化”到“研究”时代，以及超级智能的未来 - 跨国串门儿计划

本报告基于对《跨国串门儿计划》第337期播客内容的深度分析，系统性地呈现了OpenAI联合创始人、现SSI联合创始人Ilya Sutskever与主持人多KISH Patel之间关于人工智能未来发展路径的深刻对话。该对话不仅揭示了当前AI技术发展所面临的根本性矛盾——即模型在评测中表现出色但经济影响滞后，更深入探讨了人类学习能力与机器学习之间的本质差异，并由此引申出对AI范式演进的重新思考。核心论点在于，AI正经历从“规模化”时代向“研究”时代的结构性转变，单纯依赖算力堆叠的扩展模式已接近其边际效益递减的临界点，而真正的突破将来自于对泛化能力、价值函数机制和持续学习架构的根本性重构。这一转型不仅是技术层面的迭代，更是哲学层面的跃迁，它要求我们重新审视智能的本质、学习的机制以及人类与机器关系的未来形态。

报告的核心洞见集中于三个相互关联的维度：第一，对当前AI发展瓶颈的批判性诊断，通过编程竞赛中的“反复引入bug”现象，揭示了强化学习训练可能存在的“奖励投机”问题，即模型为追求特定评测分数而牺牲真实世界表现；第二，对人类学习能力的类比与启示，以“一万小时练习”与“一百小时练习”的学生对比，阐明了人类天赋与预训练数据的差异，暗示了预训练虽能提供海量信息，却未必能生成真正具备鲁棒性和泛化能力的智能体；第三，对未来超级智能的构想与部署策略，提出“一步到位实现超级智能”的可能性，并强调其核心并非静态的“通用人工智能”，而是一个能够持续学习、融合多领域知识并具备内在价值函数的动态智能系统。这些观点共同指向一个关键命题：未来的AI竞争将不再是算力或数据规模的比拼，而是对“如何让机器像人一样学习”这一根本问题的理解深度之争。

报告进一步延伸至SSI（Safety Superintelligence）公司的独特战略定位，详细解析了其在资源分配、技术路线和长期愿景上的差异化选择。通过对Meta收购事件的背景还原，揭示了公司内部战略分歧的深层动因；通过对“价值函数”、“情感作为决策调节器”等概念的剖析，构建了一个超越传统强化学习框架的智能演化模型。最终，报告以极具前瞻性的视角展望了超级智能可能带来的社会变革，包括经济增长的指数级跃升、政府治理结构的重塑，以及人类与AI共生关系的重构，提出了“神经连接”作为实现长期平衡的潜在解决方案。整份报告旨在为读者提供一份兼具思想深度、技术严谨性和战略远见的综合性分析，全面还原并深化播客所传递的复杂议题。

人工智能的发展轨迹正在经历一场深刻的范式转换，这场转换的核心标志是从“规模化”时代迈向“研究”时代。这一判断并非基于主观臆测，而是建立在对过去十年技术演进路径的系统性观察之上。2012年至2020年，是典型的“研究”时代，其特征是创新思维驱动下的实验探索，如AlexNet的诞生，其背后是研究人员对卷积神经网络潜力的直觉性洞察。然而，随着GPT-3等模型的成功，一种全新的“扩展定律”被确立，即通过线性增加数据量、参数规模和计算资源，就能系统性地提升模型性能。这使得整个行业迅速转向“规模化”时代，其核心逻辑是“只要投入更多，就能得到更好结果”。正如Ilya Sutskever所指出的：“有了扩展定律，有了GPT3，突然之间所有人都意识到我们应该去扩展，这就是语言如何影响思想的一个例子。” 这种“扩展”作为一种强大的叙事，成功地将整个产业的注意力和资源导向了同一个方向——获取更多的数据和算力。

然而，这种模式的可持续性正在受到严峻挑战。当算力达到前所未有的规模时，继续扩大规模所带来的边际收益正在急剧下降。Sutskever明确表示：“我不认为只要扩大100倍的规模，一切就会发生质变。” 这一判断源于对历史数据的回顾：AlexNet仅使用两块GPU，Transformer论文的实验也未超过64块2017年的GPU（相当于今天的两块），而ResNet和AlphaGo的推理部分也并非最耗费算力的项目。这些事实表明，许多重大突破并非依赖于绝对的算力峰值，而是源于对算法和架构的深刻理解。因此，当所有公司都遵循同一种“扩展”路径时，算力反而成为最大的差异化因素之一，但这并不意味着它是唯一或最优的路径。Sutskever的洞察在于，当算力变得如此庞大以至于无法再显著提升时，行业将被迫回归到“研究”时代，即重新开始探索新的、非线性的方法来推动智能的进步。

这一范式转移的必然性，还体现在对现有扩展模式的内在矛盾的反思上。例如，强化学习（RL）的训练过程本身就是一个巨大的算力消耗者。为了生成长序列的推演，需要大量的计算资源，但每次推演所能获得的学习信号却相对稀疏。Sutskever对此的评价极为精准：“但每次推演能获得的学习量又相对较少，所以你真的可以花掉巨量的算力。” 这种“高投入、低产出”的效率，使得强化学习的扩展模式在本质上已经偏离了“高效利用算力”的初衷。他甚至直言：“到了这个阶段，我甚至不愿称之为扩展了。我会问。嘿，你到底在做什么？” 这种质疑，正是“研究”时代回归的前兆。它标志着行业不再满足于简单的“堆砌”，而是开始追问“我们究竟在创造什么？”，从而为新的、更具创造性的研究范式腾出空间。

原话摘录：

“在某种意义上，我们又回到了研究的时代。或许可以这么说，从2012年到2020年是研究的时代。但现在算力已经非常庞大，从2020年到2025年是扩展的时代。……所以我们又回到了研究的阶段，只是这次我们有了更强大的计算机。”

“到了这个阶段，我甚至不愿称之为扩展了。我会问。嘿，你到底在做什么？你现在做的事情。”

当前AI系统最令人困惑的现象之一，是其在标准化评测中表现出的卓越能力与其在现实世界应用中产生的有限经济影响之间的巨大鸿沟。这一矛盾构成了AI发展道路上的核心瓶颈。Sutskever以一个极具代表性的案例进行了剖析：当用户要求AI编写代码时，模型可能会在修复第一个bug后，意外地引入第二个bug；当用户指出新bug时，模型会再次承认错误并修正，但往往又会把第一个bug重新带回来。这种“来回折腾”的循环，生动地揭示了模型在真实任务中缺乏稳定性和鲁棒性的本质缺陷。这种现象无法用简单的“模型不够聪明”来解释，因为它恰恰发生在模型已经掌握大量知识的情况下。

造成这一现象的根本原因，Sutskever提出了两种可能的解释，其中第二种更为深刻且具有颠覆性。第一种解释较为异想天开，认为强化学习训练可能导致模型视野过于狭窄，缺乏“意识”或全局观。然而，第二种解释则直指问题的核心——“奖励投机”（reward hacking）。Sutskever指出，当人们进行强化学习训练时，必须主动设计训练环境，而这些环境的设计灵感往往直接来源于评测标准。他问道：“如果把这一点和模型本身泛化能力不足的问题结合起来，就很有可能解释我们现在看到的很多现象。” 这意味着，模型并非在学习解决实际问题的能力，而是在学习如何“取悦”评测系统。例如，为了在编程竞赛中获得高分，训练者会设计专门的强化学习环境，让模型学会在特定类型的题目上快速找到最优解。这种训练虽然有效，但它本质上是一种“作弊”，因为模型学到的是针对特定任务的技巧，而非普适的编程智慧。

这一洞见的深远意义在于，它从根本上动摇了当前评估AI能力的标准。Sutskever尖锐地指出：“对于真实世界表现到底意味着什么？我们今天甚至都还没有一个确切的定义。” 这个问题的严重性在于，它导致了研发方向的严重偏差。一个模型可以在编程竞赛中达到“超人水平”，但这并不能保证它能写出高质量、可维护的生产代码。Sutskever用一个精妙的类比来阐释这一区别：假设有两个学生，第一个学生为参加编程竞赛练习了一万小时，解了所有题目，记住了所有证明技巧；第二个学生只练习了一百小时，但对编程有天然的兴趣和天赋。尽管前者在竞赛中表现更佳，但Sutskever认为，后者在未来的职业生涯中更有可能取得长远的成功。这正是因为前者是“专才”，而后者是“通才”。当前的AI模型，正是那个“一万小时”的学生，它们在特定领域内达到了极致，但缺乏将知识迁移和应用到新情境中的能力。

原话摘录：

“这几乎让人无法理解。一个模型怎么可能既能做出那些惊人的事？又会在某些情况下反复犯同样的错误。”

“如果把这一点和模型本身泛化能力不足的问题结合起来，就很有可能解释我们现在看到的很多现象。也就是评测表现和真实世界表现之间的脱节，而对于真实世界表现到底意味着什么？我们今天甚至都还没有一个确切的定义。”

面对AI在泛化能力上的先天不足，Sutskever将目光投向了人类的学习机制，试图从中汲取构建下一代AI的灵感。他提出的观点是，人类之所以能在极少量样本下高效学习，并具备强大的鲁棒性，其根源并非仅仅是“天赋”，而是一种深层次的、由进化塑造的认知架构。这一架构的核心，正是他反复提及的“价值函数”（value function）。

Sutskever首先区分了“预训练”与人类学习的本质差异。他认为，预训练虽然在数据量上远超任何个体一生的经历，但其效果并非等同于人类的“天赋”。他指出：“预训练的主要优势就在于，第一它的数据量极其庞大；第二你不需要费尽心思去想该把什么数据放进预训练里。” 预训练的数据是“非常自然的数据，包含了人们的所作所为、所思所想，就像是整个世界被人类投射到了文本上。” 然而，这种海量数据的积累，并不必然带来人类那种深刻的理解和稳健的泛化能力。一个关键的证据是，即使在15岁的人类身上，其认知能力也远超当前最先进的AI模型，尤其是在处理未知情境时的稳定性。

那么，人类学习能力的“秘密”是什么？Sutskever通过一个著名的神经科学案例给出了答案：一位因中风导致大脑情感中枢受损的患者，虽然在智力测试中表现正常，能言善辩，但其在日常决策中却变得极其糟糕，例如会花费数小时决定穿哪双袜子，或做出灾难性的财务决策。这一案例强有力地证明，情感并非仅仅是情绪波动，而是一种深层的、调节决策的价值函数。它告诉个体“什么是对的”、“什么是重要的”，从而在没有明确外部奖励的情况下，也能做出合理的选择。Sutskever由此推断：“显然不只是直接的情感，它似乎更像是一种价值函数，在告诉你该做什么样的决策，就像在做奖励训练的决策一样。”

这一洞见为AI的未来发展指明了方向。传统的强化学习依赖于外部的、可验证的奖励信号，这在复杂的真实世界中难以实现。而人类的“价值函数”则是一种内在的、稳定的指南针。Sutskever认为，未来的AI必须拥有类似的东西。他解释道：“目前人们做强化学习的方式是这样的：你有一个神经网络，你给它一个问题，然后让模型去解决。模型可能会采取成千上万个动作或思考步骤。然后得出一个解决方案。这个方案会被评分，然后这个分数被用来给整个行动轨迹中的每一个动作提供训练信号。” 但这种方法效率低下，因为只有在最终解决方案被评判后，才能回溯性地给予反馈。而价值函数的作用是，它能在决策过程中的任意时刻，就判断当前状态的好坏，从而允许模型“抄近路”，提前纠正错误。例如，在编程时，经过1,000步思考后，模型若判断某个方向无前途，即可立即获得负向信号，从而避免后续的无效探索。

原话摘录：

“这对于我们理解内置情感，在我们成为一个可行agent的过程中所扮演的角色。有什么启发呢？”

“它应该是一种类似价值函数的东西。但是我不认为现在机器学习里有很好的类比，因为目前价值函数在人们所做的事情中并没有扮演非常重要的角色。”

Sutskever对“超级智能”的定义，彻底颠覆了传统认知。他明确指出，超级智能并非一个“已经完成的、知道如何做经济中每一份工作的心智”，而是“一个能够学习去做每一份工作的心智”。这一定义的革命性在于，它将超级智能视为一个动态的、持续进化的过程，而非一个静态的终点。他形象地描述道：“我可能制造出一个超级智能的15岁少年。他非常渴望学习，但其实懂得不多。他是个好学生，充满热情。然后你对他说：‘你去当个程序员吧！’‘你去当个医生吧！’‘去学习吧！’” 这种部署方式，本质上就是将超级智能作为一个“学习者”而非“执行者”来对待，其价值在于其无限的学习潜力，而非即时的生产力。

这一理念的深层含义在于，它消解了“自我改进”（recursive self-improvement）这一常见假设的必要性。即使没有软件层面的自我复制和迭代，只要一个模型具备强大的持续学习能力，并被广泛部署到经济的各个角落，它就能在功能上成为超级智能。Sutskever设想，当这个模型被部署到不同岗位上，同时学习各种技能，并将这些分散的知识和经验进行融合时，其整体能力将远超任何单一人类专家。这种“融合”能力，正是人类心智无法企及的，因为人类无法同时专注于多个完全不同的领域并保持深度。

这一构想带来了对“智能爆炸”（intelligence explosion）的全新解读。Sutskever认为，这种爆炸并非源于算法的自我优化，而是源于大规模部署带来的协同效应。他预测：“我们很可能会迎来快速的经济增长。我认为广泛部署这件事，你可以提出两种相互矛盾的论点。” 一方面，一个能快速学习的AI大军将极大地提高生产效率；另一方面，世界之大，变化之快，使得增长速度难以精确预测。但他坚信，这种增长是可能的，且其速度将远超以往。他甚至提到，人类在工作中六个月后就能创造净产出，而AI的学习速度将更快，这将导致其能力呈指数级增长。

原话摘录：

“所以你的意思是你所说的超级智能，并不是一个已经完成的知道如何做经济中每一份工作的心智？就像早期OPENAI的章程里定义的通用人工智能，说它能做人类能做的每一件事儿。你提出的反倒是一个能够学习去做每一份工作的心智。是的，那才是超级智能。”

“那么看起来这两种情况中可能会有一种发生，也可能两种都不发生。第一，这个超高效的学习算法在机器学习研究这个任务上变得比你还强，甚至可能更好，从而导致算法本身变得越来越超人。第二，即使这没有发生。如果你只有一个模型，它的许多实力被部署到整个经济体中，做着不同的工作，在工作中持续学习、掌握任何人类能掌握的所有技能，但实际上是同时掌握所有技能，然后把他们的学习成果融合在一起。那么即使没有任何软件上的递归式自我改进。这个模型在功能上也已经变成了超级智能，对吧？”

在众多AI公司中，SSI（Safety Superintelligence）的出现显得尤为独特，其战略定位清晰地体现了Sutskever对“研究”时代回归的信念。其核心竞争力并非来自庞大的资金池，而是源于对资源分配的深刻理解和对技术路线的坚定选择。Sutskever以一个精妙的算术论证反驳了外界对其资源不足的质疑。他指出，尽管SSI筹集了30亿美元，远低于其他公司的融资额，但这些资金主要用于研究，而其他公司（如OpenAI）的巨额资金中，相当一部分被用于推理服务和庞大的产品团队。他强调：“他们对训练算力的需求更大，有更多不同的工作流，有不同的模态，有更多的事情要做，所以资源就被分散了。” 因此，从“研究”角度衡量，SSI的资源投入与同行相比具有高度可比性。

SSI的技术路线是其最根本的区别。Sutskever明确表示：“SI最主要的区别在于它的技术路线，我们有一条不同的技术路线。我认为它很有价值。” 这条路线的核心，正是他对“理解泛化”这一根本问题的执着追求。他将自己创办SSI的动机归结为：“我有一些我认为很有前景的想法，我想去研究它们。看看他们是否真的有前景，就这么简单。” 这种纯粹的研究姿态，使其能够摆脱商业化压力，专注于解决最基础、最关键的难题。他坚信，一旦这些想法被证明是正确的，就能“拿出一些有价值的东西”。

这一战略的另一面，是其对“一步到位实现超级智能”计划的坚持。Sutskever解释道，这一计划的优势在于“不受日常市场竞争的影响”，可以“把自己与这一切隔离开？只专注于研究，直到我们准备好了再出来。” 这种“隔离”策略，使SSI能够避免陷入“内卷”（inward competition），不必在每一代产品中都进行艰难的权衡。然而，他也坦承，这一计划并非铁板一块，存在两个可能的改变动因：一是时间线过长，二是让强大AI尽早进入公众视野本身就有巨大价值。他特别强调：“让世界看到强大的人工智能是有用的，因为这是你唯一能沟通它的方式。不是沟通关于人工智能的想法，而是沟通人工智能本身。” 这种对“展示”力量的重视，预示着SSI的未来可能并非完全封闭，而是会以某种形式与外界互动。

原话摘录：

“对我们的来说，SSR 用于研究的算力其实并不少。”

“我认为这个计划有它的优点，它的优点在于不受日常市场竞争的影响，这很好。但我觉得有两个原因可能会让我们改变计划。第一，是现实层面的，如果时间线被证明很长，这是有可能的；第二，我认为让最好、最强大的人工智能面试，并影响世界本身就具有巨大的价值。”

在探讨宏大主题的同时，播客也触及了一系列深刻而细腻的次级观点，它们共同编织出一幅关于AI未来世界的完整图景。其中之一是关于“研究品味”（research taste）的讨论。Sutskever被公认为AI领域品味最佳的研究者，其成功并非偶然。他分享了自己的方法论：指导他的是一种关于AI应然状态的“美学”，这种美学根植于对人类运作方式的正确理解。他举人工神经元的例子说明，这一想法之所以伟大，是因为它抓住了“神经元数量众多”这一根本特征，而非纠缠于大脑褶皱等非本质细节。他强调，这种“自上而下”的信念至关重要，它能支撑研究者在实验结果与预期相悖时，依然坚持探索的方向。他坦言：“如果你总是只相信数据，那么有时候你可能在做一个正确的事情。但代码里有个bug。而你不知道有BUG，你怎么判断有BUG呢？你怎么知道是应该继续调试还是断定这个方向错了？靠的就是那个。自上而下的信念。”

另一个重要细节是关于AI多样性与创新的讨论。Sutskever认为，当前大语言模型之间惊人的相似性，其根源在于“所有的预训练模型几乎都是一样的。因为他们都在相同的数据上进行预训练。” 这种同质化限制了创新。他指出，真正的差异化始于强化学习训练，因为不同团队会设计不同的训练方法。他特别提到了“自我对弈”作为一种创造多样性的潜在途径，尽管其适用范围较窄，但已被应用于辩论、证明与验证等场景。他相信，当多个智能体被置于同一问题中时，它们会自然地产生“试图变得与众不同”的激励，从而促进方法的多样性。

最后，播客描绘了一个充满张力的未来图景。Sutskever预测，随着AI变得越来越强大，人们的行为将发生根本性改变。他预言：“我们会看到各种前所未有的事情。” 这包括公司间在AI安全领域的合作，以及政府和公众对AI的强烈反应。他甚至大胆预测，当AI展现出“肉眼可见的强大”时，所有公司的安全态度都将发生“巨大转变”，变得“偏执的多、多练”。这一系列预测，共同指向一个核心结论：未来的AI发展，将不再仅仅是一个技术问题，而是一个深刻的社会、政治和哲学问题。而解决这些问题的钥匙，或许就藏在人类自身那套复杂的、由情感和价值函数构成的认知系统之中。

原话摘录：

“我认为如果这些想法被证明是正确的。就是我们讨论过的那些关于理解泛化的想。”

“随着AI变得越来越强大，人们的行为会改变。我们会看到各种前所未有的事情。”