出品 | 本站
“人类智能会不会成为一切可能性的上限？我认为绝对不会。”
“如果我们真的走到这样一个阶段：人类智能被 ASI 远远甩在身后，那对社会意味着什么？”
上周末，那个一起提出被尝试认真定义“AGI”概念的大佬，Google DeepMind 的联创、首席 AGI 科学家 Shane Legg，终于在后大模型时代首次露面，公开了他对AGI、ASI的设想。在他的构想里，人类智能显然不是最高级的智慧。
ps：其实 Shane 已经提这个概念已经有数十年了。在当年，AGI甚至还被视为他口中的“疯狂边缘话题”。
他提到，AGI与ASI，是一个连续光谱，而不是到某个门槛突然达到。
2028年，50%的概率会出现“最低限度的AGI”；而接下来就是，十年内实现完全覆盖人类水平的“完全AGI”；再然后就是ASI（人工超级智能）。
但他认为，目前的AI，智能程度发展的并不均衡，在某些方面比如语言方面，显然已经超过了人类，而在某些方面，比如视觉推理方面，就显然很容易翻车。
AGI近两年一直被外界炒作，但真正认真思考“AGI”的人却很少。
Shane甚至觉得：现在很多领域的专家都没有普通大众那样去认真对待和思考“AGI”。
在某种意义上，我甚至觉得，很多普通公众反而比所谓的专家更敏锐。
因为当我和非技术背景的人聊起当下的 AI 时，常常有人会问我：“它不是已经有类似人类的智能了吗？它会的语言比我多，会解的数学和物理题比我高中时强“
相反，很多领域专家会更倾向于认为，自己的领域足够深、足够特殊，AI 很难真正触及。
访谈中，他还透露道，谷歌有着一条清晰地实现AGI的路径。
提及如何解决AGI的伦理的问题，Shane 提出了一个很独特的观点：将伦理问题转换成“系统二”的推理问题（注：系统二，即丹尼尔的《思考的快与慢》一书中提到的“慢思考系统”），非常精彩。
毫无疑问，AGI将是一场巨大的革命与社会转型，会在结构层面改变经济、社会以及方方面面。我们必须认真思考，应该如何去构建这个全新的世界。
在这场深入的对话中，谷歌的AGI实现路线、挑战的解决方法以及 Shane 视角下的所见所闻、面向未来2年及十年的庞大叙事都有着深刻的“心流”输出。
AGI 应该如何定义？当它真正出现时我们该如何识别？怎样确保它是安全且合乎伦理的？以及最关键的——当我们真的走到那一步，世界会变成什么样？
这是小编看到最有技术含量和思考深度的关于AGI的文章，重申：这篇AGI地文章不是炒作！
下面是小编对于访谈内容的观点整理，希望能帮助各位全面深刻的理解未来即将到来的AGI，建议收藏细读。
最低限度的AGI
Hannah Fry：
欢迎你再次来到节目。我们上一次聊天还是五年前，那时你谈到的是你对 AGI 的设想，基于当时已有的 AI 系统。你现在觉得，它们是否已经显露出一些 AGI 的“火花”了？
Shane Legg：我觉得已经不只是火花了。按照我对 AGI 的定义——有时我称之为“最低限度的 AGI”——它指的是一种人工智能体，至少能够完成通常人类可以完成的各种认知任务。我喜欢这个标准，因为如果低于它，就会感觉是在明显地做不到人类理应能做到的认知事情；但如果把门槛设得更高，又会变成连很多人类自己都达不到的水平。我们相信人类拥有某种尚未完全理解的通用智能，所以只要系统至少能做到人类通常能做到的认知任务，甚至在部分方面更强，我就会把它视为进入了这个类别。
至于现在的系统处在什么位置？情况其实很不均衡。它们在某些方面已经远远超过人类，比如语言能力，可以掌握一百五十种语言，这是任何人都做不到的；在通用知识上也极其惊人，我甚至可以问它关于我在新西兰长大的一个小镇的细节，它居然都知道。
但另一方面，它们依然做不好一些我们会理所当然期待人类能做到的事情，比如持续学习。人在接手一份新工作时，并不需要一开始就样样精通，但必须能在时间中不断学习、逐步胜任，这一点非常重要，而 AI 目前并不擅长。
还有推理能力上的短板，尤其是视觉推理。AI 现在已经很擅长识别物体，猫、狗这些早就不成问题了。但一旦要求它在一个场景中进行推理，就会变得不稳定。
比如你让它看到一辆红车和一辆蓝车，问哪辆更大，人会自然理解透视关系，知道可能蓝车更大，只是因为更远看起来更小，而 AI 往往处理不好。
再比如给它一个由节点和边构成的网络图，让它回答某个节点有多少条“分支”，人会通过注意力转移和心里计数来完成，但 AI 在这类任务上表现并不好。
类似的问题还有不少。我并不认为这些是无法逾越的根本性障碍。我们已经有了不少思路，指标也在多个方向持续改善。我的预期是，在未来几年里，这些问题会逐步被解决，但现在还没到位。因为人类能做的认知事情存在一个很长的“尾巴”，而 AI 在其中不少地方仍低于人类水平。
我认为这在几年内会发生，具体时间不好说。届时，AI 会变得可靠得多，这会在很多方面极大提升它的价值。同时，它们的能力也会不断增强，达到甚至超过专业水平，比如在编程、数学、自然语言、通用知识等领域。但整体来看，这依然是一个非常不均衡的过程。
实现AGI，有清晰的路径
Hannah Fry：如果说可靠性会随着时间提升，那关键只是模型变大、规模变大吗？还是更多数据？你们是否有一条清晰的路径？
Shane Legg：我们是有路径的，但它不是单一因素决定的。并不只是更大的模型，或者更多数据。有时确实需要特定类型的数据，比如专门用于训练视觉推理的；有时则需要算法层面的改进和新的内部机制。
举个例子，如果你希望 AI 能持续学习，就需要某种机制来存储新信息，比如检索系统或类似“情景记忆”的结构，再把这些经验逐步训练回底层模型中。这已经超出了单纯堆数据的范畴，涉及架构和算法的变化。总体来说，这是多种手段的组合，取决于具体要解决的问题。
AGI是一个连续光谱，2年或可实现最低工资级别
Hannah Fry：你并不认为 AGI 是一个“是或否”的单一门槛，而更像一个连续的光谱。能具体讲讲吗？
Shane Legg：我把它分成几个层级。最低的是“最低限度的 AGI”，也就是一个人工智能体至少能完成我们通常期望人类完成的各种认知任务。现在还没到，但可能是一年，也可能是五年，我个人猜大概两年左右。我甚至把它戏称为“最低工资级别的 AGI”——也就是当你把一个认知任务交给它时，它不再以那些如果交给人类会让我们感到意外的方式失败。
但这并不意味着我们已经完全理解了人类智能。人类中存在极其卓越的个体，能创造全新的物理或数学理论，谱写伟大的交响乐，写出杰出的文学作品。仅仅做到“典型人类水平”，并不等于我们掌握了实现这些非凡认知成就所需的全部机制。当 AI 能够覆盖人类认知所能达到的完整光谱时，我们才真正达到了所谓的“完全 AGI”。
那是否还有更高的层级？有的。当你开始超越人类认知所能达到的范围，就进入了“人工超级智能”（ASI）的领域。这个概念并没有一个真正清晰的定义，我自己尝试过很多次，每一个定义都有明显问题。但大致来说，它是一种具备 AGI 的通用性，同时在整体能力上远远超出人类所能企及的系统。
AGI的由来
Hannah Fry：你当年参与提出了这个术语。现在回头看，你觉得它还好用吗？毕竟现在各种定义层出不穷，几乎成了一个被滥用的流行词，而且常常被描述成一道突然跨过的“分界线”。
Shane Legg：当初我提出这个词时，其实更多是把它当作一个研究领域的名称。我当时在和 Ben Goertzel 交流——我曾在他手下工作过。他想写一本书，讨论 AI 最初的愿景：不仅是下棋、打牌、语音转文字这种高度专用的系统，而是能够学习、推理、使用语言、写诗、做数学、绘画，具备高度通用能力的机器。我当时就在想，我们该如何称呼这种“老梦想”里的 AI？
AGI的定义分歧
Hannah Fry：在定义人工通用智能这件事上，有人提出过不同思路。比如，有人认为可以用一份任务清单，或者所谓“人类的终极考试”——一个覆盖人文与自然科学、包含 2500 道题的大语言模型基准测试。也有人说，它得能在厨房里工作：作为一名受训厨师，被投放到一个完全陌生的厨房，依然能胜任。还有一种说法是，它能不能用 10 万美元赚到 100 万美元。你怎么看这些定义？
Shane Legg：这些说法我基本都想过。比如“用 1 万或 10 万赚到 100 万”这种定义，显然是一个非常偏经济视角的看法。老实说，很多人类也做不到这一点，而且它在某种意义上是相当狭窄的。你甚至可以想象，一个专门的交易算法也许就能做到，但那并不是我所讨论的对象。
对我来说，关键在于 AGI 里的那个 “G”——通用性。人类心智最了不起的地方之一，就在于它的灵活性和通用性，能够做非常多不同类型的事情。如果你只是给定一组特定任务，也许可以构建一个系统把这些任务完成得很好，但它依然可能在一些非常基础的认知能力上失败，而这些恰恰是我们几乎会默认任何一个人都能做到的。这种情况在我看来是无法令人满意的。
所以，如果我要把我的定义落到可操作层面，我会设计一整套任务集合，并且我很清楚人类在这些任务上的“典型表现”是什么样的。然后我会看 AI 能不能完成所有这些任务。只要它在其中任何一项失败，就不符合我的定义，因为它还不够通用——它在某个我们本来会期待人类能完成的认知任务上失败了。
如果它通过了这一阶段，我会进入第二阶段，也就是更具对抗性的测试：我们会组织一支团队，让他们有几个月时间，可以查看 AI 的内部结构，做任何他们想做的测试，目标只有一个——找出某个我们认为“人类通常能做到”的认知任务，而 AI 却做不到。如果他们找到了，那 AI 按定义失败；如果他们在几个月的反复测试、不断尝试之后，依然找不到这样的失败案例，那么在绝大多数实际意义上，我们就已经到达了，因为这种失败已经变得极其难以发现。
人类终会不再纠结什么是AGI，只是在意有没有用Gemini 9
Hannah Fry：你觉得人们最终会在“什么是 AGI”这个问题上达成共识吗？
Shane Legg：我猜在若干年之后，AI 会在如此多的维度上表现出高度通用的能力，以至于人们会很自然地把它们称为 AGI，而 AGI 这个词本身也会变得不再那么有争议。到那时，人们可能不会再纠结“这算不算 AGI”，而是会说：“我用的是最新的 Gemini 9 之类的模型，它真的很强。”
它能写诗、能学你刚发明的纸牌游戏并陪你玩、能做数学、能翻译、甚至能陪你度假。它的通用性会显得如此明显。但在那之前，拥有一条清晰、被定义过的“通往 AGI 的路径”仍然很重要。
Hannah Fry：你之前提到过，如果没有这样的路径，可能会出现风险，比如它在某些能力上发展得太快——先精通化学工程，却还没真正理解伦理。这种提前做工作的必要性有多大？
Shane Legg：我认为非常重要。我们必须思考，社会要如何应对强大、能力突出的机器智能的到来，而这绝对不能用单一维度去理解。它可能在某些方面远超人类，但在另一些方面却非常脆弱。如果你不了解这种能力分布，就无法真正理解机会在哪里，也无法理解风险和潜在的误用方式。你可能只看到“它在这里非常强”，却忽视了“它在那边非常弱”，而问题往往就出现在这些薄弱点上。所以，理解这种全貌，是社会正确应对当下局势的重要组成部分。
现在很多关于 AI 的讨论，要么把它描述得无所不能，要么又说它被严重高估了。我觉得现实要复杂得多：它在某些方面极其强大，在另一些方面却相当脆弱，必须整体来看。这其实也很像人类智能本身——有的人语言能力出众，有的人擅长数学，有的人精于音乐，但同时也各自有短板。
AI伦理问题可以转化成推理问题
Hannah Fry：如果我们已经讨论了性能和通用性，那我想转向另一个重要分支：伦理。伦理在这一切中该如何定位？
Shane Legg：伦理有很多层面。其中一个核心问题是：AI 自身是否真正理解什么是伦理行为？它是否能够分析自己可能采取的行动，在伦理层面进行稳健、值得信任的判断？也就是说，AI 本身是否具备对其行为进行伦理推理的能力。
Hannah Fry：那具体要怎么做呢？伦理要如何被“嵌入”到系统里？我自己也有一些想法，但这显然不是一个简单的问题。不过我认为这是一个极其重要的问题。
Shane Legg：我很喜欢一种被一些人称为“思维链监控”（chain-of-thought monitoring）的做法。我在一些短讲里也谈过这个。我把它称为“系统二安全”。Hannah Fry：就是丹尼尔·卡尼曼提出的系统一、系统二思维？（快思考、慢思考）Shane Legg：没错。基本思路是这样的：假设一个人面对一个复杂的伦理情境，光凭直觉往往是不够的。你需要坐下来认真思考：当前的情境是什么？有哪些复杂因素和细微差别？可能采取哪些行动？每种行动的后果分别是什么？然后把这些放进你所遵循的一套伦理、规范和道德体系中进行分析，经过一番推理，才能决定应该怎么做。这正是卡尼曼所说的系统一和系统二的区别。有人惹你生气时，那一瞬间的愤怒和冲动反应，是系统一；你停下来，深呼吸，思考后果，再决定怎么回应，那就是系统二。
举个例子，我们通常知道“说谎是不好的”。但在某些特定情境下，比如有坏人要来伤害某个人，而你如果说一个谎就能救他的命，那在这种情况下，说谎反而可能是更符合伦理的选择。简单的规则并不足以覆盖所有现实情境，你需要逻辑和推理去真正想清楚，在这个具体案例中，什么才是合乎伦理的行为。这就会变得非常复杂，比如大家常提到的“电车难题”，在这些问题中，我们的直觉和理性分析往往会发生冲突。
现在的 AI 已经具备这种“思考型”的能力了，你甚至可以看到它在解决问题时所使用的推理链。当你向 AI 提出一个带有伦理维度的问题时，它确实会对情境进行推理。如果我们能让这种推理过程非常严谨，并且让它对我们希望它遵循的伦理与道德原则有非常深入的理解，那么在原则上，它甚至可能比人类更“合乎伦理”，因为它能够更一致、更系统地应用这些原则，在某些情况下达到超越人类的推理水平。这样一来，伦理就被转化成了一个可推理的问题，而不只是凭感觉做判断。
AI如何扎根人类现实？
Hannah Fry：不过听你这么说，我也会担心“扎根性”的问题。这些系统至少在目前，并不像人类那样生活在真实世界中。它们真的有可能理解人类视角下的真实体验，并在此基础上建立起真正的人类伦理吗？
Shane Legg：这里面确实有不少复杂性。首先，人类并不存在唯一的一套伦理体系，不同的人、不同的文化和地区，对伦理的理解本身就有差异。AI 必须理解，在不同地方，社会规范和期望并不完全相同。从某种程度上说，模型其实已经吸收了不少这样的信息，因为它们的训练数据来自世界各地。但它确实需要在这方面做得非常好。
至于“扎根现实”，目前我们构建这些智能体的方式，主要还是通过收集大量数据、训练大型模型，然后它们就变成相对静态的对象，与我们互动，但并不会持续学习太多新东西。这种状况正在改变，我们正在引入更多的学习算法，让它们能够持续学习。与此同时，系统也在变得更加“代理化”，不再只是你对它说一句话，它处理完再给你一个回应，而是可以真的去“做事”。
你可以让它写一段软件、规划一次去墨西哥的旅行，考虑你的偏好和不喜欢的东西。再往后，这些智能体还会更多地进入机器人等具身形态。有的软件智能体，有的则会成为具身 AI。随着这一过程推进，AI 会通过交互和经验，与现实建立越来越紧密的联系，而不只是依赖一开始灌入的大规模数据。那时，它与现实世界的连接会大大增强。当然，也要记住，这些最初被灌入的大量数据，本身就是来自真实的人类世界，这本身也是一种重要的现实扎根方式。
AGI 不可能100%符合伦理，重要的是能解释动机
Hannah Fry：有一种观点认为，AI 在伦理判断上可能会比人类更“好”。但问题在于，在它的推理能力还没有达到或接近人类之前，如何确保这些伦理被安全地实现？举个例子，功利主义在自动驾驶领域看起来很合理——尽可能挽救更多生命；可在医疗领域，同样的逻辑就行不通了，你不会牺牲一名健康的病人去救五个人。那要怎样确保系统最终朝“对的方向”去推理？
发言人二：你没法保证一切。现实世界中行动的可能性空间太大了，100% 的可靠性本身就不存在。其实现实世界也是这样：你去找外科医生做手术，如果他说“百分之百安全”，作为一个懂点数学的人，你会知道这不是真的。没有任何事情是 100% 的。
我们能做的，是尽可能测试这些系统，让它们尽量安全、尽量可靠，同时在收益和风险之间做权衡，并在部署后持续监控。如果我们发现失败案例已经超出可接受范围，就需要回滚、暂停，或者采取其他措施。这是一整套流程：上线前的测试、上线后的监控，以及可解释性——能够“看进”系统内部。如果所谓的 system two 安全机制实现得当，你可以看到它在如何推理，但还要确认这些推理确实反映了它真实的目标。如果我们能理解系统为什么这么做，就能多一层安心。
另外还有一个很微妙但重要的点：不只是结果，动机也很关键。有人故意伤害你，和不小心撞到你，我们的理解完全不同。如果我们能看到系统的“内部理由”，知道它是在复杂情境下尽力做出判断，只是带来了副作用，很多人可能是可以接受的；毕竟人类在同样情况下，也未必能做得更好。但如果是“有意为之”，那就是另一回事了。这些都是 AGI 安全的一部分，目前已经有人在系统性地研究这些问题。
Hannah Fry：那在你们有足够信心之前，会不会限制它们与现实世界的交互程度，或者控制发布节奏？
Shane Legg：会的。我们有一整套测试基准，会在内部跑很长时间，重点覆盖高风险领域，比如系统是否会被诱导去协助生物武器研发——这显然是不能发生的。如果我们发现可以通过某些方式“骗”它在这些领域变得有帮助，那就是严重问题。黑客攻击也是类似的测试方向。这些测试集合会不断扩展，我们会评估模型在不同风险领域的能力水平，并配套相应的缓解措施。结果可能是延迟发布，甚至不发布，具体取决于我们看到什么。
高度AGI之后：可能会有意识，甚至超越人类
Hannah Fry：我们聊聊更宏观的影响吧。当我们真的拥有高度能力的 AGI 之后，会发生什么？
Shane Legg：
我现在最关心的是：假设我们真的得到了一个在其能力水平上“还算安全”的 AGI，那接下来呢？“接下来”的问题清单非常庞大。比如，它是否有意识？这是不是一个有意义的问题？对此我们确实有团队在研究，也和全球很多顶尖专家讨论过。简短的结论是：没人真的知道。
我们这里讨论的是完整意义上的 AGI，而不是现在这些系统——我不认为当下的模型是有意识的。但如果是十几、二十年后的高度 AGI，当你和它对话时，它有没有意识？即便是研究这个问题的顶级专家，也只能说“也许有”“也许没有”，但没有人能百分之百确定。
更麻烦的是，这个问题本身都很难被严格地转化为一个科学问题，因为我们不知道如何把“意识”定义成一个可测量的指标。我可以确定的一点是：一定会有人相信它们是有意识的，也一定会有人坚信它们不是，尤其是在缺乏公认定义和测量方法的情况下。我们要如何在这种分歧中前行，本身就是一个非常值得思考的问题。而这还只是众多问题中的一个。
还有更大的问题：我们会不会从 AGI 进一步走向超智能？如果会，是很快发生，还是很慢，或者根本不会？如果真的出现超智能，它的“认知结构”会是什么样？哪些方面会远超人类？我们已经看到，它可以掌握上百种语言。但是否也存在某些领域，因为计算复杂性等原因，它并不会比人类强太多？这些问题，对人类来说都非常关键。你怎么看超级智能？你觉得 AGI 会发展到那个阶段吗？它是否能像爱因斯坦提出相对论那样，对世界形成超越人类的科学理解？
Shane Legg：我认为会的，根本原因在于计算。人类大脑是一个移动处理器，重几斤，功耗大约 20 瓦，信号通过树突传输，频率大约在 100 到 200 赫兹，传播方式是电化学波，速度大约 30 米每秒。再看数据中心：不是 20 瓦，而是 200 兆瓦；不是几斤，而是几百万斤；信道频率不是 100 赫兹，而是百亿赫兹；信号传播速度不是 30 米每秒，而是接近光速，每秒 30 万公里。能耗、规模、带宽、速度，这四个维度上同时拉开了六到八个数量级。
所以，人类智能会是上限吗？我不这么看。
随着我们对“如何构建智能系统”的理解不断加深，这些系统会在认知层面远超人类，就像人类无法在 100 米赛跑中跑赢顶级赛车，无法比起重机更有力量，也无法比哈勃望远镜看得更远一样。我们已经在很多领域看到机器超越生物极限，我认为认知领域也会如此。某种意义上，我们早就接受了一点：你知道的事情，已经不可能比 Google 多了。
认真思考AGI的人并不多
Hannah Fry：要真正拿到这些好处，同时把风险和成本降到最低，我们显然需要非常谨慎地穿越这个过程。但我感觉，眼下真正认真思考 AGI 会带来什么影响的人，还是远远不够。我们需要更多人投入进来。你还记得 2020 年 3 月吗？当时专家们在说，疫情要来了，我们正站在指数曲线的起点；但大多数人还在酒吧、在看球赛，专家的警告声音却越来越急切。现在的感觉有点像当时。
Shane Legg：是的，确实有点像。人们往往很难相信一次真正巨大的变化正在逼近，因为大多数时候，那种“马上要发生惊天大事”的说法最后都会不了了之。所以作为一种经验法则，如果有人告诉你会发生极其夸张、极其巨大的变化，你大概率可以忽略。但问题在于，有些时候，确实存在着非常扎实的底层驱动因素；一旦你理解了这些基本面，就必须认真对待“巨大变化真的会发生”这个可能性。历史上，真正的巨大变化，确实发生过。
完整AGI：逐步演变且极不均衡，软件工程会80%被替代，然后是高认知白领工作，最后是水管工
Hannah Fry：那这具体意味着什么？你描述的是一个长期愿景——完整的 AGI，潜在的繁荣可以被共享。但在走到那一步之前，我们会经历非常剧烈的过程。这不仅是“大规模经济冲击”那么简单，而是结构性的风险。你能不能讲讲，接下来几年你预期会发生什么？有哪些是我们现在还没有真正意识到的？
Shane Legg：我认为，未来几年我们看到的，并不会立刻是你描述的那种巨大断裂式冲击。更可能的情况是，AI 会从“非常有用的工具”，逐步演变为承担大量真正具有经济价值工作的系统，而且这个过程会非常不均匀，在某些领域发生得更快。
比如在软件工程领域，未来几年，由 AI 参与编写的代码比例会明显上升。过去可能需要 100 名工程师的团队，几年后也许只需要 20 人，而这 20 人配合先进的 AI 工具完成工作。AI 会从“提升效率的工具”，转变为真正做出生产性贡献的角色，同时显著提高从业者的生产力。这也会在某些领域带来劳动力市场的冲击，而一旦这种变化开始显现，关于 AI 的公共讨论也会变得更加严肃。
讨论的重心会发生转移：从“这东西挺酷的，可以帮你规划假期、辅导孩子作业”，转向“这已经不是一个新奇工具了，而是一种会从根本上重塑经济和社会结构的力量”。
我们必须开始认真思考，新世界该如何被组织。我确实相信，如果我们能把这种能力引导好，这可能会是一个真正的黄金时代——机器可以大幅提升各种产品和服务的生产能力，推动科学进步，并让人类摆脱大量并不一定非要亲自去做的劳动。但前提是，我们要把机器带来的惊人能力，转化为一种社会愿景：让个体和群体都能从中受益、真正繁荣。
与此同时，你必须正视现实：那 80 名不再被需要的软件工程师怎么办？还有现在的初级员工、应届毕业生——他们往往是最先感受到冲击的人。短期到中期来看，并不是所有行业都会被同等程度地影响。事实上，还是有不少工作相对“抗 AI”的。比如水管工这个例子就经常被提到。
在接下来的几年里，即便 AI 发展得很快，它主要仍然是认知层面的能力。机器人要真正成为一个合格的水管工，并不是短期内会发生的事情；即便在技术上可行，也还需要相当长的时间，才能在成本上与人类水管工竞争。因此，那些并非纯粹依赖认知能力的工作，在相当一段时间内都会相对受到保护。
一个很有意思的现象是，当前很多报酬极高的工作，本质上都是“精英级的认知劳动”。比如做跨国并购的顶级律师，从事高端金融工作的从业者，或者现在做先进机器学习、软件工程等领域的人。有一些数学家提出过一个我挺喜欢的经验法则：如果一份工作可以完全通过互联网远程完成，只需要一台笔记本电脑，而不需要什么全身触觉设备、机器人操控之类的东西，只用键盘、屏幕、摄像头、扬声器、麦克风、鼠标这些基本接口就能完成，那么这份工作大概率就是高度认知型的。如果你处在这个范畴里，我认为先进的 AI 将能够在这个空间中运作，并胜任这些工作。
Shane Legg：另一个我认为具有一定“保护性”的因素是，即便某些工作被归类为认知劳动，其中仍然可能包含不可替代的人类因素。比如你是一个内容创作者或网红，这份工作也许可以远程完成，但“你是你”这件事本身——你的个性、你的身份、别人知道背后有一个真实的人——在很多情况下在后AGI时代依然是有价值的。
但总体来看，这仍然会留下一个巨大的群体需要重新思考未来。我之前对英国罗素集团高校校长们说过，我们真的需要研究社会各个方面的人，都严肃对待 AGI 的到来。我的感受是，很多人并没有这样做。
很多专家并没有严肃对待AGI
Shane Legg：我去和一些关注这些议题的人交流时，常常听到的反应是：“挺有意思的工具”“挺好玩的”“挺新奇的”。但他们并没有真正内化一个事实：他们现在看到的能力，以及他们记忆中的那些局限，其实往往已经过时了。
很多人会说，“我一年前试过”，但在 AI 的世界里，一年前几乎已经是史前时代；而且一年之后，系统还会比现在强得多。
在某种意义上，我甚至觉得，很多普通公众反而比所谓的专家更敏锐。因为当我和非技术背景的人聊起当下的 AI 时，常常有人会问我：“它不是已经有类似人类的智能了吗？它会的语言比我多，会解的数学和物理题比我高中时强，知道的菜谱比我多，还能帮我处理报税、解释复杂问题。那它为什么不算智能？”这是我经常从非技术人士那里听到的直觉反应。相反，很多领域专家会更倾向于认为，自己的领域足够深、足够特殊，AI 很难真正触及。
2028年实现AGI的概率：50%，十年之内实现完全AGI
Hannah Fry：我想用你那个现在已经相当有名的 AGI 预测来收尾。你在这一点上保持了十多年几乎完全一致的判断。你曾经说过，到 2028 年实现 AGI 的概率是 50%。你指的是“最低形态的 AGI”吗？
Shane Legg：是的。
Hannah Fry：哇。那你现在仍然坚持 2028 年、50% 的判断吗？
Shane Legg：是的，还是 2028 年。你现在还能在我 2009 年的博客里看到这个判断。
Hannah Fry：那如果是“完整意义上的 AGI”，你的时间预期是什么？
Shane Legg：会晚一些，大概再往后几年，可能是三年、四年、五年，或者六年之后。
Hannah Fry：但也就是说，在十年之内，对吗？
Shane Legg：是的，我认为会在十年之内。
堪比工业革命的机会：财富、技术、药物以及风险
Hannah Fry：你有没有哪怕一瞬间，会因为知道这么多而感到有点虚无？
Shane Legg：我反而觉得这里面有着巨大的机会。现在有非常多人投入大量时间和精力去工作，但其中很大一部分其实并不怎么有趣。我认为，这里存在着一种堪比工业革命的机会。
当年，人类学会了驯服能源，让机器去完成大量机械劳动，从而在社会中创造了巨大的财富。现在，我们可以驯服数据、算法和计算能力，让它们去完成大量认知层面的工作。这不仅意味着可以创造出更多的财富，而且这种“财富”不只是商品和服务的产出，还包括新技术、新药物，以及各种此前难以想象的进步。所以，这是一项具有极其巨大潜在价值的技术。
Shane Legg：真正的挑战在于，我们如何在获得这些好处的同时，妥善应对风险和潜在成本？我们能否设想一个未来世界，在那里，智能真正帮助人类实现更好的生活？那样的世界会是什么样子？
这个问题不是我一个人就能回答的。我对此非常感兴趣，也在努力理解，但这确实是一个极其深刻的问题，牵涉到哲学、经济学、心理学、伦理学等诸多领域。我们需要更多的人去认真思考这些问题，去想象一个积极、可行的未来图景。
Hannah Fry：非常感谢你。这次对话，至少对我来说，极大地拓展了认知。人类并不擅长理解指数级变化。而此时此刻，我们正站在这条曲线的拐点上。AGI 已经不再是一个遥远的思想实验。
我觉得这次与 Shane 的对话中最有意思的一点在于：他认为，普通公众在某种程度上比专家更早意识到这一点。如果他的时间判断大体准确（事实证明，他过去确实多次判断正确），那我们可能并没有充裕的时间去慢慢消化、慢慢反应。我们正面对一些困难、紧迫，但也可能真正令人兴奋的问题，它们需要被认真对待。
