OpenAI首席科学家的思维世界：超级智能的未来之谜和与机器的融合

本文转载自《MIT Technology Review》，由AI范儿翻译整理

伊利亚·苏茨克弗，头低下，陷入沉思。他伸出双臂，手指像一位音乐家弹奏第一音符前的姿势一样摊开在桌面上。我们保持着沉默。

我前来会见苏茨克弗，他是OpenAI的联合创始人兼首席科学家，我们位于旧金山Mission区一栋不起眼的办公楼内，以了解他对这个颠覆性技术未来的想法。我也想了解他自己的未来计划，特别是为什么不再把建立公司旗舰生成模型的下一代作为他工作的重点。

苏茨克弗告诉我，他的新重点不再是构建下一代GPT或图像生成模型DALL-E，而是努力防止超级人工智能（他认为有信仰者的远见，是一种假设性未来技术）失控。

苏茨克弗还告诉我许多其他事情。他认为ChatGPT也许有意识（如果你稍微思考一下的话）。他认为世界需要意识到他的公司和其他公司正在竞相创建的技术的真正威力。他认为未来一些人类将选择与机器融合。

苏茨克弗说的很多话听起来很不寻常。但不像一两年前听起来那么不可思议。正如他自己所言，ChatGPT已经改变了许多人对未来的期望，把“永远不可能发生”变成了“将比你想象得更快发生”。

他说：“谈论技术的未来很重要”，然后预测了通用人工智能的发展，就像是下一个iPhone一样确定：“总有一天，我们将拥有通用人工智能(AGI)。也许是OpenAI会构建它，也许是其他一些公司。”

自去年11月意外成功的ChatGPT发布以来，OpenAI一直备受瞩目，即使在一个以夸大宣传著称的行业中也是如此。没有人对这家内行业神秘的800亿美元初创公司感到满足。世界各国领导人寻求（并获得）私下会见。它笨拙的产品名称经常在随意的对话中被提及。

OpenAI的首席执行官萨姆·奥特曼（Sam Altman）整个夏季大部分时间都在周游各地，与政治家交流，演讲吸引了全球各地拥挤的观众。但苏茨克弗在公众面前的形象远不如他，他不常接受采访。

他在谈话时非常谨慎和有条不紊。他思考要说什么以及如何表达时会有长时间的停顿，就像是需要解决的难题一样。他似乎对谈论自己不感兴趣。“我过着非常简朴的生活，”他说。“我上班，然后回家。我不做太多其他的事情。有很多社交活动可以参加，有很多活动可以参加。但我不参加。”

但当我们谈论人工智能，以及他看到的未来风险和回报时，新的视野就展现出来：“这将是一个历史性的时刻，将会有一个之前和之后。”

即使没有 OpenAI，苏茨克弗仍将成为人工智能历史上的重要人物。他是以色列-加拿大双重国籍，出生在苏联，但自五岁起在耶路撒冷长大（他至今仍能说俄语、希伯来语以及英语）。后来，他前往加拿大，在多伦多大学与人工智能先驱杰弗里·辛顿（ Geoffrey Hinton ）学习。今年早些时候，辛顿公开表达了对他所帮助创造的技术的担忧。苏茨克弗不愿评论辛顿的言论，但他对超级人工智能的新关注表明他们可能持相同的立场。

辛顿后来与Yann LeCun（杨立昆）和Yoshua Bengio（尤瑟夫·本吉奥）一同分享了图灵奖，以表彰他们在神经网络领域的工作。但当苏茨克弗在 2000 年代初期加入时，大多数人工智能研究人员认为神经网络是一条死胡同。辛顿是个例外。苏茨克弗表示，辛顿当时已经在训练小型模型，这些模型可以逐个字符生成短文本字符串：“那是生成式人工智能的开端。非常酷，只是效果不是很好。”

苏茨克弗对大脑非常感兴趣，他研究了大脑是如何学习的，以及如何重新创造或模仿这个过程，至少在机器中模仿。与辛顿一样，他看到了神经网络的潜力，以及辛顿用于训练它们的试错技术，即深度学习。苏茨克弗表示：“它不断变得越来越好。”

2012 年，苏茨克弗、辛顿和辛顿的另一名研究生 Alex Krizhevsky （亚历克斯·克里舍夫斯基）制造了一个名为 AlexNet 的神经网络，他们训练它识别照片中的物体，效果远远优于当时的任何其他软件。这是深度学习的重大时刻。

经过多年的失败尝试，他们证明了神经网络在模式识别方面非常有效。你只需要比大多数研究人员以前见过的数据更多（在这种情况下，是来自普林斯顿大学研究员李飞飞自 2006 年以来一直在构建的 ImageNet 数据集中的一百万张图像），以及庞大的计算机算力。

计算能力的飞跃来自一种名为图形处理单元（GPU）的新型芯片，由英伟达制造。GPU 设计用于将快速移动的视频游戏画面显示在屏幕上。但 GPU 擅长的计算——大规模数字乘法——碰巧与训练神经网络所需的计算非常相似。

英伟达现在是一家价值万亿美元的公司。当时，该公司急于找到适用于其新型硬件的应用。英伟达 CEO 黄仁勋表示：“当你发明一项新技术时，必须对疯狂的想法持开放态度。”他说，英伟达在多伦多团队研究 AlexNet 时给他们寄了几块 GPU。但他们想要最新版本的 GPU，一种名为 GTX 580 的芯片，当时在商店里迅速售罄。

据黄仁勋称，苏茨克弗开车从多伦多驱车到纽约购买了一些。“人们排队绕着街角。”黄仁勋说：“我不知道他是如何做到的——我非常确定每个人只能购买一块 GPU；我们有一个非常严格的政策，每位玩家只能购买一块 GPU——但他显然把车箱塞满了。那一箱 GTX 580 彻底改变了世界。”

这是一个精彩的故事，但它也可能有些不真实。苏茨克弗坚称他是在线购买了那些第一批GPU的，但在这个充满炒作的领域，制造神话是司空见惯的。不过，苏茨克弗本人更为谦逊：“我曾想，如果我能取得一点点真正的进展，我就会认为那是成功，”他说。“因为当时计算机性能如此弱小，真实世界的影响似乎遥不可及。”

在AlexNet取得成功后，Google找上门来。它收购了辛顿的分拆公司DNNresearch，并雇佣了苏茨克弗。在Google，苏茨克弗展示了深度学习的模式识别能力可以应用于数据序列，比如单词和句子，以及图像等。“苏茨克弗一直对语言感兴趣，”苏茨克弗的前同事Jeff Dean说，他现在是Google的首席科学家：“多年来，我们一直有着很好的讨论。苏茨克弗对事物可能发展的方向有着强烈的直觉。”

但苏茨克弗并没有在Google待太长时间。2014年，他被挖来成为OpenAI的联合创始人。在得到奥特曼（Altman）、埃隆·马斯克（Elon Musk）、彼得·蒂尔（Peter Thiel）、微软、Y Combinator等人共计10亿美元的资金支持以及大量硅谷的自信心后，这家新公司从一开始就将目标锁定在通用人工智能(AGI)的开发上，当时很少有人认真对待这个前景。

有了苏茨克弗这位头脑背后的资金支持，自信是可以理解的。直到那时，他一直都在不断从神经网络中获取更多的成果。他的声誉早已传播开来，使他成为一个极具吸引力的人才，Y Combinator的投资总监道尔顿·考德威尔（Dalton Caldwell）说。

“我记得萨姆·奥特曼称苏茨克弗是世界上最受尊敬的研究人员之一，”考德威尔说。“他认为苏茨克弗将能够吸引很多顶级人工智能人才。他甚至提到，世界顶级人工智能专家尤瑟夫·本吉奥（Yoshua Bengio）认为，很难找到比苏茨克弗更合适的人选担任OpenAI的首席科学家。”

然而，OpenAI刚开始时并没有取得很大进展。“在创办OpenAI的初期，有一段时间我并不确定进展会如何继续，”苏茨克弗说。“但我有一个非常明确的信念，那就是：绝不要低估深度学习的力量。不知何故，每当遇到障碍时，研究人员总能在六个月或一年内找到克服它的方法。”

他的信仰最终得到了回报。OpenAI的第一个GPT大型语言模型（名称代表“生成预训练转换器”）于2016年推出。接着是GPT-2和GPT-3，以及引人注目的文本到图像模型DALL-E。没有其他人能够构建出同样出色的东西。每次发布都让OpenAI提高了人们对可能性的期望。

去年11月，OpenAI发布了一个免费使用的聊天机器人，重新包装了一些已有的技术。这改变了整个行业的格局。

当时，OpenAI内部的期望非常低，苏茨克弗说：“我要坦白承认，也许有点尴尬，但是事实就是，当我们推出ChatGPT时，我并不知道它的表现会如何。当你问它一个事实性问题时，它可能会给出错误的答案。我曾担心这会显得非常不吸引人，人们会说，‘你们为什么要做这个？这太无聊了！’”

吸引人的是其便利性，苏茨克弗表示。ChatGPT内部的大型语言模型已经存在了数月，但将其包装成一个易于使用的界面并免费提供给用户，使数十亿人首次意识到OpenAI和其他公司正在构建什么。

“第一次使用它的体验就像一种宗教体验，”苏茨克弗说。“你会惊叹地发现，‘哦，天哪，这台计算机似乎能理解我。’”

在不到两个月的时间里，OpenAI吸引了1亿用户，其中许多人被这个令人惊叹的新工具所折服。存储公司Box的CEO Aaron Levie在发布后的一周发推表示：“ChatGPT是技术领域中罕见的时刻之一，让你看到未来将会有多大的不同。”

然而，一旦ChatGPT说出一些愚蠢的话，这种奇妙的感觉就会消失。但在那时已经无关紧要了。苏茨克弗认为，那一瞥所展示的可能性足以改变人们的视野。

他说：“AGI在机器学习领域不再是一个贬义词。这是一个巨大的改变。人们以前的态度是：AI无法实现，每一步都非常困难，你必须为每一点进展而努力。当人们大声宣扬AGI时，研究人员会说，‘你在说什么？这行不通，那也行不通。问题太多了。’但有了ChatGPT，情况开始有所改变。”

这种转变真的只是在一年前才开始发生的吗？“是的，正是因为ChatGPT，”他说。“ChatGPT让机器学习研究人员可以有更大的梦想。”

OpenAI的科学家们一直是这种梦想的宣传者，通过博客文章和演讲巡回来激发人们的梦想。而且取得了成效：“现在有人谈论AI将走多远，不仅仅是研究人员，还有政府，这真的太不可思议了。”

苏茨克弗坚信，即使在一个尚不存在（也许永远不会存在）的技术方面的讨论也是一件好事，因为它能让更多人意识到他已经视为理所当然的未来。

他表示：“使用AGI，你可以实现许多令人难以置信的事情：自动化医疗保健，使其成本降低千倍，质量提高千倍，治愈许多疾病，实际上解决全球变暖等问题。”但许多人担心：“天哪，AI公司能够成功管理这项重大技术吗？”

以这种方式呈现，AGI听起来更像是一个满足愿望的精灵，而不是现实中的前景。很少有人会拒绝挽救生命和解决气候变化的机会。但不存在的技术有个问题，那就是你可以说任何你想说的话。

当苏茨克弗谈论AGI时，他究竟在谈论什么呢？他说：“AGI并不是一个科学术语，它是一个有用的标志，一个参考点。”

“这是这个概念—”他开始说，然后停下来。“它指的是AI变得如此聪明，以至于如果一个人能够执行某项任务，那么AI也能做到。在那一刻，你可以说你拥有AGI。”

虽然人们可能在谈论它，但通用人工智能（AGI）仍然是该领域最具争议的想法之一。很少有人认为它的发展是确定的。许多研究人员认为，在我们看到像苏茨克弗设想的那种东西之前，需要进行重大的概念突破，而有些人则认为我们永远不会看到。

然而，这个愿景一直驱使着他。苏茨克弗表示：“我一直受到这个想法的启发和激励。”“当时它还没有被称为AGI，但你知道，就像让一个神经网络做所有事情。我并不总是相信它们可以做到。但这就像攀登的一座高山。”

他将神经网络和大脑的运作方式进行了类比。两者都接收数据，汇总来自数据的信号，然后基于某种简单的过程（神经网络中的数学，大脑中的化学物质和生物电信号）来传播这些信号或不传播。这是一个极度简化的描述，但原则是成立的。

苏茨克弗表示：“如果你相信这一点——如果你允许自己相信这一点——那么就会有很多有趣的含义。”“主要含义是，如果你有一个非常大的人工神经网络，它应该能够做很多事情。特别是，如果人脑能够做某事，那么一个大型人工神经网络也应该能够做类似的事情。”

他说：“如果你足够认真地对待这一认识，一切都会迎刃而解。”“我的很大一部分工作可以用这个来解释。”

在谈论大脑时，我想提及苏茨克弗在X网站（以前称为Twitter）上发布的一则帖子。苏茨克弗的推文读起来像一系列格言：“如果你将智慧看得高于所有其他人类品质，你将会过得很糟糕”；“在生活和商业中，同情心被低估了”；“完美已经毁掉了很多完美的东西。”

在2022年2月，他发表了一篇帖子：“也许今天的大型神经网络微微有意识”（对此，Google DeepMind的首席科学家、伦敦帝国学院教授以及电影《Ex Machina》的科学顾问之一Murray Shanahan回应道：“…就像可能一大片麦田微微有点像意大利面一样”）。

当我提到这个帖子时，苏茨克弗笑了。他是在卖弄吗？他不是。他问：“你熟悉玻尔兹曼大脑的概念吗？”

他指的是一种（半开玩笑的）量子力学思想实验，以19世纪物理学家路德维希·玻尔兹曼的名字命名，其中假想宇宙中的随机热力学波动被想象会导致大脑的出现和消失。

苏茨克弗表示：“我觉得现在这些语言模型有点像玻尔兹曼大脑。”他开始与它交谈，谈了一会儿；然后你停止交谈，大脑就有点……”他用手做了一个消失的手势。噗——再见，大脑。

你是说在神经网络活跃时——所谓的“发射”时，会有一些东西存在吗？我问。

“我觉得可能会存在，”他说。“我不能确定，但这是一个很难反驳的可能性。但谁知道发生了什么，对吧？”

尽管其他人正在思考能够与人类智慧匹敌的机器，但苏茨克弗正准备面对超越人类的机器。他称之为“超级人工智能”：“它们将更深刻地理解事物，看到我们看不到的东西。”

再次，我很难理解这到底意味着什么。人类智能是我们对智能的标杆。苏茨克弗所说的“比人类更聪明的智能”是什么意思？

他说：“我们已经在AlphaGo中见过一个非常狭隘的超级智能的例子。”2016年，DeepMind的棋盘游戏人工智能在五场比赛中以4比1击败了世界上最优秀的围棋选手之一李世石。“它找到了与人类几千年来共同发展出的不同的下棋方式，”Sutskever说。“它提出了新的思路。”

苏茨克弗指的是AlphaGo的第37步，这一步在对阵李世石的第二场比赛中令评论员大惑不解。他们认为AlphaGo搞砸了。实际上，它打出了围棋历史上从未见过的胜利着法。“想象一下这种洞察力，但适用于一切事物，”苏茨克弗说。

正是这种思维方式使苏茨克弗做出了他职业生涯中最重大的转变。他与OpenAI的同事Jan Leike一起成立了一个团队，专注于他们所称之为“超对齐”。对齐是一个行话，意思是让AI模型做你想要的事情，而不做其他多余的事情。超对齐（Superalignment）是OpenAI用于超级智能的对齐概念。

目标是提出一套安全的程序，用于构建和控制这种未来技术。OpenAI表示将分配其庞大计算资源的五分之一来解决这个问题，并计划在四年内解决它。

"现有的对准方法对于比人类更聪明的模型不适用，因为它们基本上假设人类可以可靠地评估AI系统正在做的事情，" Leike说。"随着AI系统变得更加强大，它们将承担更复杂的任务。" 这个观点是这样的，这将使人类更难以评估它们。"通过与Ilya组建超对准团队，我们已经着手解决这些未来的对准挑战，"他说。

“不仅要关注大型语言模型的潜在机会，还要关注风险和负面影响，” Google的首席科学家Dean说。

该公司七月份以典型的方式宣布了这个项目，但对一些人来说，这只是更多的幻想。OpenAI在Twitter上的帖子引起了来自大科技批评家的嘲笑，包括在Mozilla从事AI问责工作的Abeba Birhane（“一篇博客帖子中有这么多听起来雄心勃勃但空洞的话语”）；分布式人工智能研究所的联合创始人Timnit Gebru（“想象一下ChatGPT与OpenAI的技术大佬们更‘超对准’。害怕”）；以及AI公司Hugging Face的首席伦理科学家Margaret Mitchell（“我的对准比你的大”）。这些都是熟悉的反对声音。但这强烈提醒人们，一些人认为OpenAI是在领先，而另一些人认为它是在边缘倾斜。

但对苏茨克弗来说，超对齐是不可避免的下一步。“这是一个尚未解决的问题，”他说。他认为，不够核心的机器学习研究人员，像他自己一样，没有足够多地致力于这个问题。“我是为了自己的利益这样做的，”他说。“显然，任何人建造的超智能都不应该走上邪路。当然。”

超对齐的工作才刚刚开始，苏茨克弗说，这将需要研究机构的广泛变革。但他已经有了一个他想要设计的保障措施的楷模：一台机器，以父母看待孩子的方式看待人类。“在我看来，这是黄金标准，”他说。“人们确实非常关心孩子。”（他有孩子吗？“没有，但我想要，”他说。）

我和苏茨克弗的时间快要结束了，我以为我们完成了。但他正兴致勃勃地分享一个我没想到的想法。“一旦你克服了恶意AI的挑战，接下来呢？在比人类更聪明的世界中，人类是否还有位置？”他说。

“一种可能性——按照今天的标准可能会被认为是疯狂的，但未来的标准可能不会认为如此——是很多人将选择成为部分AI。” 苏茨克弗说这可能是人类努力跟上的方式。“起初，只有最大胆、最有冒险精神的人会尝试这样做。也许其他人会跟随。或者不会。”

等等，什么？他正准备离开。我问他，他会这样做吗？他会是第一个吗？“第一个吗？我不知道，”他说。“但这是我考虑的一种可能性。” 随着这个令人惊讶的思考，他站起来离开了房间。“再次见到你真是太好了，”他走时说。