超级人工智能何时能实现？
01、近未来
1997年5月3日，IBM制造的国际象棋计算机“深蓝”和国际象棋世界冠军加里·卡斯帕罗夫（Garry Kasparov，或许是历史上最优秀的人类棋手）之间的国际象棋比赛开始了，美国《新闻周刊》称这场比赛是“大脑的最后一战”。前5局，双方2.5∶2.5平分秋色。
5月11日，“深蓝”在决胜局中战胜了卡斯帕罗夫。IBM的市值一夜之间增加了180亿美元。所有人都说，人工智能取得了巨大的突破。从人工智能研究的角度来看，这场比赛根本没有突破。“深蓝”的胜利虽然令人印象深刻，但它只是延续了几十年来显而易见的趋势。国际象棋算法的基本设计是由克劳德·香农在1950年提出的，这一基本设计在20世纪60年代初实现了重大改进。此后，最优秀的国际象棋程序的等级评分稳步提高，这主要是因为计算机速度更快，让程序能够算到未来更远处。
1994年，我和彼得·诺维格列出了1965年以来最好的国际象棋程序和国际象棋棋手的等级评分。在这个评分系统中，卡斯帕罗夫的评分是2805分。1965年，国际象棋程序的等级评分从1400分开始，在随后的30年里以一条近乎完美的直线上升。从1994年开始推算，系统预测计算机将会在1997年击败卡斯帕罗夫，而这与现实完全相符。
对人工智能研究人员而言，真正的突破发生在“深蓝”进入公众视野之前的三四十年。类似的，在深度卷积网络开始成为头条新闻的20多年前，它就已经存在了，所有的数学问题都完全解决了。
公众从媒体上看到的人工智能取得突破的观点——人类取得的辉煌胜利，机器人成为沙特阿拉伯公民等，与全世界各地的研究实验室里真正发生的事情几乎没有关系。在实验室里，研究包括大量的思考、交流和在白板上写数学公式。想法不断产生、被抛弃和重新被发现。好的想法，即真正的突破，往往在当时没有被注意到，可能直到后来才会被认为给人工智能的重大进步提供了基础，或许是当有人在更合适的时间重新改造它的时候。想法是经过试验的，它最初往往在简单的问题上证明了基本直觉的正确性，然后在更困难的问题上，我们才能观察到想法的延伸效果。通常，一个想法本身并不能提供能力上的实质性改进，它必须等待另一个想法的出现，二者结合才能证明价值。
所有这些活动都是外界完全看不见的。在实验室之外的世界里， 只有当想法逐渐积累，当其有效性的证据超越一个阈值时，人工智能才会被看到：在这个临界点上，人工智能值得投入资金开展技术工作，创造新的商业产品或令人印象深刻的演示了。然后，媒体宣布我们取得了突破。
因此，人们可以预期，在未来几年里，世界各地的研究实验室酝酿的许多其他想法将跨越商业适用性的门槛。随着商业投资率的提高，以及世界对人工智能应用的接受程度越来越高，这种情况将会越来越频繁地发生。本章提供了一些我们很快就会看到的例子。在此过程中，我将提到这些技术进步的一些缺点。你可能会想到更多的缺点，但别担心。我将在下一章讨论这些内容。
02、人工智能生态系统
最初，大多数计算机的运行环境基本上是空洞无形的：它们唯一的输入来自穿孔卡片，唯一的输出方法是在行式打印机上打印字符。也许由于这个原因，大多数研究人员将智能机器视为问答系统。直到20世纪80年代，机器作为智能体在环境中感知和行动的观点才被广泛接受。
20世纪90年代，万维网的出现为智能机器开辟了一个全新的天地。人们创造了一个新词“Softbot”，用来描述完全在Web等软件环境中运行的“软件机器人”。Softbot（后来被称为 bot，即机器人）可以感知网页，并通过发出字符序列、网址等来执行动作。
人工智能公司在互联网繁荣时期（1997—2000年）迅速发展，为搜索和电子商务提供了核心能力，包括链接分析、推荐系统、信誉系统、比较购物和产品分类。
世纪初，配有麦克风、摄像机、加速计和GPS的手机普及开来，为人工智能系统进入人们的日常生活提供了新的途径。亚马逊Echo、谷歌Home和苹果HomePod等“智能音箱”已经完成了这一过程。
到2008年左右，接入互联网的物体数量已经超过了接入互联网的人数，这一转变被一些人认为是物联网（IoT）的开端。这些物体包括汽车、家用电器、交通灯、自动售货机、恒温器、四轴飞行器、照相机、环境传感器、机器人，以及在制造、分销和零售系统中的各种物料。这为人工智能系统提供了更强大的感知能力和对现实世界的控制途径。
最后，随着感知能力的提高，人工智能机器人得以走出工厂，进入真实的、非结构化的、混乱的世界，在工厂里它们依赖于严格约束的对象排列，而走出工厂之后，它们的摄像机可以看到一些有趣的东西。
03、无人驾驶汽车
20世纪50年代末，约翰·麦卡锡设想有一天会有一辆无人驾驶汽车把他送到机场。1987年，恩斯特·迪克曼斯（Ernst Dickmanns）在德国的高速公路上展示了一辆无人驾驶的奔驰面包车，它可以保持在车道上行驶，尾随在另一辆车后面，变换车道、超车。330多年过去了，我们仍然没有一辆全自动汽车，但距离它成为现实已经越来越近了。开发的重点早已从学术研究实验室转移到大公司。截至2019年，性能最好的测试车辆已经在公共道路上行驶了数百万英里（在驾驶模拟器中行驶了数十亿英里），没有发生严重事故。不幸的是，其他无人驾驶汽车和半自动驾驶汽车已经造成数人死亡。
我们为什么要花如此长的时间才能实现安全的无人驾驶？第一个原因是，性能要求非常严格。在美国，人类司机大约每行驶1亿英里会遭遇一次致命事故，这设置了一个很高的标准。无人驾驶汽车要想被人们接受，就需要表现得比这更好，也许要每行驶10亿英里出现一次致命事故才行。或者说，无人驾驶汽车如果每周行驶40小时，则25000年才会出现一次致命事故。
第二个原因是，一个预期的变通办法——当交通情况混乱或超出其安全操作条件时，将控制权交给人类，根本行不通。当汽车无人驾驶时，人类很快就会脱离当前的驾驶环境， 无法足够迅速地重新了解周围环境，安全地接管汽车。此外，如果出了什么问题，坐在后座的非驾驶员或出租车乘客将无法驾驶汽车。
目前的项目目标是达到美国汽车工程师学会（SAE）的L4级自动驾驶。这意味着车辆必须在任何时候都能够自动驾驶、安全停车，但是它受地理条件和天气条件的限制。因为地理和天气条件可能会发生变化，并且可能出现L4 级车辆无法处理的异常情况，所以必须有人在车内，并在需要时随时准备接管汽车。（L5级是不受限制的自动驾驶，它不需要人工驾驶，但更难实现。）
L4级自动驾驶的自主性远远超出了简单的反射型任务，如在白线内侧行驶和避开障碍物。车辆必须基于当前和过去的观察结果，评估所有相关物体的意图和未来可能的轨迹，包括评估现在可能看不到的物体。然后，利用前向搜索，车辆必须找到一条优化了安全性的前进路径。一些项目正在尝试采用更直接的方法，这些方法基于强化学习（当然主要是模拟）和监督学习（从数百名人类驾驶员的记录中学习），但是这些方法似乎不太可能达到所需的安全水平。
无人驾驶汽车的潜在好处是巨大的。每年，车祸造成全世界120万人死亡，数千万人受重伤。无人驾驶汽车的合理目标是将这些数字降低到现在的10%。一些分析还预测，交通成本、停车场设施成本将因此降低，拥堵和污染情况也将有所好转。城市中的私家车和大型公共汽车将转变为无处不在的共享无人驾驶电动汽车，提供门到门的交通服务，并为枢纽之间的高速公共交通连接提供支持。由于每位乘客每英里的运输成本低至3美分，大多数城市可能会选择免费提供这项服务，而让乘客承受没完没了的广告轰炸。
当然，要获得所有这些好处，业界必须防范风险。如果有太多的死亡归因于设计不当的实验车辆，监管机构可能会暂停计划中的部署，或者实施可能几十年内都无法达到的极其严格的标准。当然，人们可能会决定不购买也不乘坐无人驾驶汽车，除非它们确实是安全的。2018年的一项民意调查显示，与2016年相比，消费者对无人驾驶汽车技术的信任度大幅下降。即使这项技术取得了成功，向无人驾驶的过渡也将是一个令人感到尴尬的过程：人类驾驶技能可能会退步或消失，而由人类驾驶汽车这种鲁莽和反社会的行为可能会被完全禁止。
04、智能个人助理
到目前为止，大多数读者都已经体验过不太智能的个人助理：把从电视购物节目中听到的话当成购买指令去执行的智能音箱，或者听到“给我打电话叫救护车！”（Call me an ambulance!）之后回答“好的，从现在开始我叫你‘Ann Ambulance’”的手机聊天机器人。这些系统本质上是应用程序和搜索引擎的语音接口，它们主要基于固定的刺激—反应模板。这种方法可以追溯到20世纪60年代中期的Eliza（人工智能软件）。
这些早期的系统有三大缺陷：访问缺陷、内容缺陷和语境缺陷。访问缺陷，即它们对正在发生的事情缺乏感官意识，例如，它们可能能够听到用户在说什么，但看不到用户在和谁说话。内容缺陷，即它们根本无法理解用户所说的话或发送的短信的含义，即便它们可以访问这些内容。语境缺陷，即它们缺乏跟踪和推理日常生活的目标、活动和关系的能力。
尽管存在这些缺点，智能音箱和手机助手仍为用户提供了足够的价值，它们进入了数亿人的家中和口袋里。从某种意义上讲，它们是人工智能的“特洛伊木马”。因为它们就在你的身边，嵌入几乎每个人的生活中，它们的能力的每一个微小进步都价值数十亿美元。
因此，进步正在密集而又迅速地到来。或许最重要的是理解内容的基本能力：当它听到“约翰在医院”时，它要不仅仅会回答说“但愿没有什么大碍”，而且还应了解更多实际信息，比如用户8岁的儿子在附近的医院，并且可能受了严重的伤或生了病。访问电子邮件和文本通信以及（通过屋内的智能音箱）访问电话和家庭对话的能力， 将为人工智能系统提供足够的信息，它以此来构建关于用户生活的合理且完整的画面。这也许比为19世纪贵族家庭工作的管家或为如今的CEO（首席执行官）工作的行政助理获得的信息还要多。
当然，仅仅了解原始信息是不够的。智能助理要想真正发挥作用，还需要了解世界运转的常识：医院里的孩子不可能同时待在家中，因手臂骨折而住院的时长很少会超过一天或两天，孩子的学校需要提前知道缺勤情况等。这样的知识使智能助手能够跟踪它没有直接观察到的东西，这是智能系统的一项基本技能。
我认为，上一段中描述的能力在现有的概率推理技术下是可行的，但是这需要花费非常大的努力来构建构成我们日常生活的各种事件和事务的模型。到目前为止，由于所涉及的成本和不确定的回报，常识类的建模项目通常还没有开始（可能在情报分析和军事计划的分类系统中除外）。然而现在，这样的项目很容易触及数亿名用户，因此投资风险更低，潜在回报更高。此外，通过接触大量用户， 智能助理可以快速学习并填补知识上的所有空白。
因此，人们有望看到的智能助理是，用户每月只需付几美分就可以让它帮助自己管理越来越多的日常活动：日程、旅行、家庭购物、支付账单、辅导孩子作业、发电子邮件和打电话、提醒、膳食计划，以及人们“做梦都想找到的”钥匙。这些技能不会分散在多个应用程序中。相反，它们将是一个单一、综合的智能体的各个方面，这些方面可以从协同作用中受益，就像军事人员所说的“通用作战态势图”那样。
智能助手的通用设计模板包括：关于人类活动的背景知识、从感知和文本数据流中提取信息的能力，以及使智能助手适应用户的特定环境的学习过程。相同的通用模板至少可以应用于其他三个主要领域：健康、教育和财务。对于这些应用程序，系统需要跟踪用户的身体、思想和银行账户的状态（广义地说）。与日常生活中的助理一样， 在这三个领域中创建必要的通用知识所付出的前期成本要分摊到数十亿名用户身上。
例如，在健康领域，我们所有人的生理状况大致相同，关于人体如何工作的详细知识已经被编码成机器可读的形式。系统将适应你的个人特点和生活方式，提供疾病的预防建议和疾病的早期预警。
在教育领域，智能教学系统的前景早在20世纪60年代就得到了承认，但真正的进步还需要很长时间。主要原因是内容和访问上的缺陷：大多数教学系统不理解它们声称要教授的内容，也不能通过语音或文本与学生进行双向交流。（我在想象自己用我完全不会说的老挝语教授我完全搞不懂的弦理论的情景。）语音识别的最新进展意味着，自动化的教师最终可以与尚未完全识字的学生进行交流。
此外， 概率推理技术现在可以跟踪学生的知识掌握情况，并优化教学内容， 最大限度地提高学习效果。始于2014年的“全球学习XPRIZE竞赛” 提供了1500万美元奖金，用于开发“开源的、可扩展的软件，使发展中国家的儿童能够在15个月内自学基本的阅读、写作和算术”。来自获奖者“Kitkit School”（套件学校）和“onebillion”（十亿）的结果表明，这一目标已基本实现。
在个人金融领域，系统将跟踪个人的投资、收入流、强制性的支出和可自由支配的支出、债务、利息、紧急准备金等，就像金融分析师了解公司的财务情况和前景一样。与处理日常生活的智能体进行整合，将使系统提供更细致的服务，甚至可以确保孩子得到他们的零花钱，孩子还会因为他们搞恶作剧而被扣掉一部分零花钱。人们在不久的将来将会获得以往专为超级富豪准备的高质量的日常财务建议。
如果在阅读上面几段时，你的“隐私警报”没有响起，那说明你没有关注新闻。然而，隐私问题有多个层面。首先，如果你的个人助理对你一无所知，那么它真的有用吗？大概没用吧。其次，如果个人助理不能从多个用户那里采集信息，从而更多地了解普通人和与你类似的人，那么它真的有用吗？大概没用吧。因此，这两件事是否意味着我们必须放弃我们的隐私，才能在日常生活中受益于人工智能呢？
答案是否定的。原因是学习算法可以使用安全多方计算技术对加密数据进行操作，这样用户就可以在不损害自身隐私的情况下从资源池中获益。软件提供商会在没有立法规定的情况下自愿采用隐私保护技术吗？这还有待观察。然而，似乎不可避免的是，只有当个人助理的主要职责是为用户服务，而不是为开发它的公司服务时，用户才会信任它。
05、智能家居和家用机器人
智能家居的概念已经发展了几十年。1966年，西屋电气的工程师詹姆斯·萨瑟兰（James Sutherland）开始搜集多余的计算机部件，用来打造第一台智能家居控制器ECHO。不幸的是，ECHO重800磅，电功率3.5千瓦，却只能管理三个数字时钟和电视天线。随后的系统又要求用户掌握极其复杂的控制界面。不出所料，它们从未流行起来。
从20世纪90年代开始，几个雄心勃勃的项目试图设计出能够在人为干预尽可能少的情况下进行自我管理的住宅，并使用机器学习来适应居住者的生活方式。为了让这些实验有意义，必须有真人住在房子里。不幸的是，错误决策的频繁出现使系统变得糟糕透顶——居住者的生活质量非但没有提高，反而下降了。例如，在华盛顿州立大学2003年的MavHome项目中，如果访客的就寝时间比居住者通常的就寝时间晚，那么他们就不得不坐在黑暗中，而这种情况经常发生。就像不太智能的个人助理一样，这样的失败缘于系统对居住者活动的感官接触不足，以及无法理解和掌握房子里发生的事情。
配备了摄像头、麦克风，拥有必要的感知和推理能力的真正的智能住宅，可以理解居住者在做什么：做客、吃饭、睡觉、看电视、阅读、锻炼、为长途旅行做准备，还是跌倒后无助地躺在地板上。通过与智能个人助理配合，住宅可以非常清楚地知道谁会在什么时间进出房间，谁会在哪里用餐等。这种理解使它能够管理暖气、照明、百叶窗和安全系统，及时发送提醒，并在出现问题时通知用户或提供应急服务。美国和日本的一些新建公寓楼已经采用了这种技术。
智能家居的价值因其执行器而受到限制。虽然更简单的系统（定时恒温器、动作感应灯和防盗报警器）对环境不那么敏感，但它们可以用更可预测的方式提供许多相同的功能。智能家居不能叠衣服、洗碗或拿报纸。它的确需要一个物理机器人来执行它的指令。
我们等待的时间可能不会太久。机器人已经展示了许多必需的技能。在我的同事彼得·阿贝尔（Pieter Abbeel）所在的加州大学伯克利分校实验室中，BRETT（Berkeley Robot for the Elimination of Tedious Tasks，意为“消除烦琐任务的伯克利机器人”）自2011年以来一直在叠成堆的毛巾，而波士顿动力公司的SpotMini机器人可以爬楼梯和开门。有几家公司已经在制造烹饪机器人了，尽管它们需要特殊的封闭式设置和预先切好的食材，而且在普通的厨房里无法工作。
实用家用机器人需要三种基本能力：感知能力、机动性和灵活性。其中，灵活性最成问题。正如布朗大学的机器人学教授斯蒂芬妮·泰利克斯（Stefanie Tellex）所说：“大多数机器人在大部分时间里都无法拿起大多数物体。”其原因有三：一是触觉感知问题；二是制造问题（目前，制造一只灵巧的机械手成本非常高）；三是算法问题，我们还没有很好地理解如何将感知和控制结合起来，以掌握和操纵家庭中各种各样的常见物体。仅仅针对刚性物体就有几十种抓握类型，并且有成千上万种不同的操作技巧，比如从瓶子里倒出两粒药丸，撕掉果酱罐上的标签，在软面包上涂抹硬黄油，或者用叉子从锅里挑起一根意大利面条，看看它是否熟了。
BRETT机器人叠毛巾（左）；波士顿动力公司的SpotMini机器人正在开门（右）
触觉感知和制造问题有可能通过3D（三维）打印来解决，波士顿动力公司已经将3D打印用于Atlas人形机器人的一些更复杂的部分。机器人的操作技能正在迅速进步，这在一定程度上得益于深度强化学习。最后的推动力——把所有这些整合到一起，形成近似于电影中的机器人那种令人敬畏的身体技能，很可能来自相当乏味的仓储行业。
这个行业里只有亚马逊一家公司雇用了几十万人，他们从大型仓库的箱子中挑出产品，然后分发给顾客。从2015年到2017年，亚马逊每年都会举办一次“挑拣挑战赛”，以加速能够完成这项任务的机器人的发展。虽然还有很长的路要走，但当核心研究问题得到解决时——很可能在10年内，我们就可以期待高性能机器人的迅速问世。它们最初将用于仓库，然后用于其他商业应用，如农业和建筑业，在这些应用中，各种任务和对象都是相对可预测的。我们也可能很快会看到它们在零售部门做一些工作，比如给超市货架装货和把衣服重新叠好。
第一个真正受益于家庭机器人的群体是年老体弱的人，对他们而言，实用的机器人可以提供一定程度的独立性，这种独立性在其他情况下无从得到。即使机器人能够完成的任务很有限，而且它们对正在发生的事情只有初步的理解，它们也非常有用。而要制造那种可以从容地管理家务，并预见主人每一个愿望的机器人管家，我们仍然有一段路要走，因为这需要某种接近人类水平的人工智能的通用性。
06、全球层面的智能
发展理解语音和文本的基本能力，将会使智能个人助理可以做一些人类助理做的事情。（但是它们做这些事的成本是每月几便士，而不是每月几千美元。）基本的语音和文本理解能力，也会让机器能够做一些人类做不到的事情——不是因为理解的深度，而是因为事情的规模。例如，一台具备基本阅读能力的机器将能够在午餐时间阅读人类曾经写过的所有内容，然后它会四处寻找其他事情做。凭借语音识别能力，它可以在下午茶之前收听每一个广播和电视节目的音频。相比之下，仅仅为了阅读完当前世界上所有的出版物（更不用说过去所有的书面材料）就需要20万名全职人员，收听当前的广播则还需要6万名全职人员。
这样一个系统，如果它能提取简单的事实性陈述，并能跨所有语言整合所有这些信息，那么它就会成为令人难以置信的回答问题和揭示模式的资源，可能比目前价值约1万亿美元的搜索引擎还强大得多。它对历史学和社会学等领域的研究价值将是不可估量的。
当然，监听世界上所有的电话也是可能的（这项工作需要大约2000万人）。有些秘密机构会发现这很有价值，其中一些机构多年来一直在进行简单的大规模机器监听，比如找出对话中的关键词，现在已经过渡到将整个对话转录成可搜索的文本。转录当然有用，但不如同时理解和整合所有对话的内容有用。
机器可以利用的另一种“超级力量”是瞬间看到整个世界。粗略地讲，卫星每天以每像素约50厘米的平均分辨率拍摄整个世界。在这个分辨率下，地球上的每一栋房子、每一艘船、每一辆汽车、每一头奶牛和每一棵树都清晰可见。检查所有这些图像需要超过3000万名全职员工。因此，目前没人能遍览绝大多数卫星数据。计算机视觉算法可以处理所有这些数据，生成一个每天更新的可搜索的全球数据库，还能生成经济活动、植被变化、动物迁徙和人口流动、气候变化影响等的可视化和可预测模型。像Planet（星球）和 DigitalGlobe（数字地球）这样的卫星公司正忙着把这一想法变成现实。
随着全球层面的感知成为可能，全球层面的决策也在成为可能。例如，通过全球卫星数据，人们可以建立详细的模型来管理全球环境，预测环境和经济干预的影响，并为联合国的可持续发展目标提供必要的分析输入。我们已经看到了“智慧城市”控制系统，它旨在优化交通管理、运输、垃圾收集、道路维修、环境保护和其他造福市民的功能，这些可能会拓展到国家层面。直到最近，这种程度的协调仍然只能通过庞大、低效的人类官僚机构来实现，这些将不可避免地被照顾我们集体生活越来越多方面的超级智能体所取代。当然，随之而来的可能是全球范围内的隐私侵犯和社会控制，我将在下一章讨论这个问题。
07、超级人工智能何时到来？
人们经常让我预测超级人工智能何时到来，而我通常拒绝回答，原因有三。首先，历史上预测出错的情况经常出现。例如，1960年，人工智能先驱、诺贝尔经济学奖得主赫伯特·西蒙（Herbert Simon）写道：“从技术上讲……20年内，机器将能够胜任人类能做的一切工作。”1967年，达特茅斯会议（1956年该研讨会首次提出“人工智能”的概念）的联合组织者马文·明斯基写道：“我相信，在一代人的时间内，机器会攻克几乎所有智力领域，创造‘人工智能’的问题将得到实质性解决。”
第二个原因是，超级人工智能将要跨越的门槛并不明确。机器在某些领域已经超越了人类的能力。这些领域将会被拓展和深化，在我们拥有一个完全通用的超级人工智能系统之前，很有可能会出现“超级通用知识系统”“超级生物医学研究系统”“超级灵巧和敏捷的机器人”“超级企业规划系统”等。这些“不完全超级智能”的系统，无论是单独的还是集体的，都会产生许多与通用智能系统相同的问题。
第三个原因是，超级人工智能何时到来在本质上是不可预测的。正如约翰·麦卡锡在1977年的一次采访中指出的那样，超级人工智能需要“概念上的突破”。他接着说：“要想造出超级人工智能，你需要的是1.7个爱因斯坦和0.3个曼哈顿计划，而你首先需要的是爱因斯坦。我相信这需要5到500年的时间。”在下一节中，我将解释一些概念上的突破可能是什么。它们到底有多不可预测？也许就像在卢瑟福宣布链式核反应完全不可能的几个小时后，西拉德就发明了链式核反应一样不可预测。
在2015年世界经济论坛的一次会议上，我回答了我们何时才能看到超级人工智能的问题。这次会议是按照“查塔姆宫守则”进行的，这意味着任何出席会议的人都不能对外发表任何言论。即便如此，出于谨慎的考虑，我还是在我的回答前面加上了“严格保密”4个字。我提出，除非发生灾难，否则超级人工智能很可能出现在我孩子的有生之年。因为他们还很年轻，随着医学的进步，他们可能比参加会议的许多人活得更长。结果不到两个小时后，《每日电讯报》就刊登了一篇文章，引用了我的言论，还配上了狂暴的终结者机器人的图片，标题是《“反社会”机器人可能在一代人的时间里超越人类》。
我提出的时间点（比如说那之后80年）比典型的人工智能研究者的观点要保守得多。最近的调查表明，大多数活跃的研究人员预计人类水平的人工智能将在21世纪中叶到来。我们在核物理学方面的经验表明，假设进展可能会很快出现，那么人们做好相应的准备才是明智的。如果只需要一个类似于西拉德发现中子诱发的链式核反应这种概念上的突破，某种形式的超级人工智能就可能会突然出现，那么到时我们很有可能毫无准备：如果我们制造出了具有任意程度自主能力的超级智能机器，我们很快就会发现人类无法控制它们。然而， 我相当有信心，我们尚有喘息的空间，因为现在和超级人工智能之间还隔着好几个重大突破，而不仅仅是一个。
人工智能可以提供的功能是受限的。土地和原材料并不是无限的，因此人口不可能无限增长，也不可能每个人都在私人公园里拥有豪宅。（因为那需要在太阳系的其他地方采矿，并在太空中建造人工栖息地，但我承诺过不谈科幻小说。）骄傲也是受限的：在给定的所有指标中，只有1%的人可以排在前1%。如果跻身前1%才能感到幸福，那么99%的人就不会幸福，即使那些处在前1%末尾的人也拥有客观上美好的生活方式。因此，对我们的文化而言，逐渐淡化骄傲和嫉妒是感知自我价值的重要因素，这一点很重要。
