查看原文
其他

OpenAI真正想要的是什么

匡萃彪 AI范儿 2023-09-24


图|STEVEN LEVY
文|STEVEN LEVY

当这家年轻公司发布ChatGPT时,它在全球引起了轰动;但那只是个开始,最终目标:改变一切;是的,一切。

空气中弥漫着一种近似于“披头士迷”般的活力,明星和他的随行团队匆匆跳进一辆等待的梅赛德斯面包车。他们刚刚结束了一个活动,正前往另一个,然后是下一个,一个疯狂的人群正在等待着。当他们穿梭于伦敦的街头——从霍尔本到布卢姆斯伯里的短途行驶——就好像他们正在冲浪文明的一个前后时刻。这辆汽车内所体现出的具有历史性的力量已经吸引了全世界的注意。每个人都想要成为其中一部分,从排队等待的学生到首相。

在豪华面包车内,一位打着领带的38岁企业家萨姆·阿尔特曼(Sam Altman)正在狼吞虎咽地吃着沙拉,他是OpenAI的联合创始人;还有一名公关人员,一名安全专家,以及我。阿尔特曼穿着一套略显阴郁的蓝色西装,搭配一件没有领带的粉色衬衫,他正在伦敦穿行,作为一个为期一个月的全球之旅的一部分,将前往六大洲的25个城市。当他狼吞虎咽地吃着绿色蔬菜——今天没有时间坐下来吃午餐——他回顾了前一晚与法国总统埃马纽埃尔·马克龙的会面。挺不错的家伙!而且非常对人工智能感兴趣。

波兰总理也是如此。西班牙总理也是如此。

坐在阿尔特曼身旁,我几乎能听到《A Hard Day's Night》中那个引人注目、意义模糊的和弦开始响起——引领未来的声音。去年11月,当OpenAI发布了其巨大的成功作品ChatGPT时,这触发了一场自互联网进入我们生活以来前所未见的科技爆炸。突然之间,图灵测试成了历史,搜索引擎成了濒临灭绝的物种,任何大学论文都无法被信任。没有工作是安全的。没有科学问题是不可改变的。

阿尔特曼没有进行ChatGPT和它更为早熟的兄弟GPT-4的研究,也没有进行神经网络的训练或编写界面。但作为首席执行官——一位像他的联合创始人埃隆·马斯克年轻版的梦想家/实干家,没有包袱——一篇又一篇的新闻文章都以他的照片作为人类新挑战的视觉象征。至少那些没有以OpenAI的视觉AI产品Dall-E生成的引人注目的图像为首的文章。他是当下的神谕,是人们首先咨询的对象,关于AI如何可能引领黄金时代、将人类置于无关紧要的地位,或者更糟的情况。

阿尔特曼的面包车在五月的那个阳光明媚的日子里带他去了四个场合。第一个是秘密的,是与“圆桌会议”(Round Table)的一次非正式会议,该团体由政府、学术界和行业人士组成。临时组织的会议在一家名为“Somers Town Coffee House”的酒吧的二楼进行。在一幅严肃的酿酒师查尔斯·威尔斯(1842年-1914年)的画像下,阿尔特曼回答了几乎每个听众都会问的同样问题。AI会杀死我们吗?能够进行监管吗?中国怎么办?他详细回答了每一个问题,同时偷偷看手机。之后,他在伦敦的奢华酒店进行了一个与牛津公会的600名成员进行的壁炉边聊天(fireside-chat)。然后,前往地下会议室,在那里他回答了约100名企业家和工程师的更多技术问题。现在,他几乎要迟到了,要去参加伦敦大学学院的中午后的台上演讲。他和他的团队停在一个装货区,被引导穿过一系列弯曲的走廊,就像电影《盗梦空间》中的Steadicam镜头。当我们走着的时候,主持人匆匆告诉阿尔特曼他将会问什么问题。当阿尔特曼出现在舞台上时,坐满了兴奋的学者、极客和记者的礼堂爆发出掌声。

阿尔特曼并不是一个天生喜欢宣传的人。我曾经在《纽约客》刊登了一篇关于他的长篇专题报道后与他交谈过。他说:“关于我的写得太多了。”但在伦敦大学,在正式节目结束后,他走进了人群涌到舞台前的人群中。他的助手试图在阿尔特曼和人群之间穿梭,但他把他们推开。他接受了一个又一个问题,每次都专注地看着对话者的脸,就像他第一次听到这个问题一样。每个人都想要自拍照。20分钟后,他终于允许他的团队把他拉出来。然后,他前往会见英国首相里希·苏纳克。

也许有一天,当机器人书写我们的历史时,他们会将阿尔特曼的世界巡回演出视为一个里程碑,标志着每个人都突然开始对奇点进行个人的反思。又或者,也许在记录这一时刻的历史的人会将其视为一个时刻,一个悄然引人注目的首席执行官带着颠覆传统的技术,试图将一种非常独特的世界观注入全球意识流——从旧金山Mission区一个未标明的四层总部到整个世界。

对于阿尔特曼和他的公司来说,ChatGPT和GPT-4仅仅是实现一个简单而又革命性使命的垫脚石,这个使命就像刻在他们的肌肤上一样。这个使命是构建人工通用智能——一个迄今为止更多地基于科幻而非科学的概念,并且使之对人类安全。在OpenAI工作的人们对这个目标追求得如痴如醉。(尽管,正如办公室咖啡厅里的许多谈话所证实的那样,“构建AGI”的使命似乎给研究人员提供了比“使之安全”更多的原始激情。)这些人不会轻易地使用“超级智能”这个词。他们认为,人工智能的发展轨迹将超越生物学所能达到的任何高度。该公司的财务文件甚至规定了一种情况下的退出策略,即当人工智能摧毁了我们整个经济体系时。

称OpenAI为一个邪教是不公平的,但当我问几位公司高层,如果有人不相信AGI真的会到来,而且它的到来将标志着人类历史上最伟大的时刻之一,是否能够在那里舒适地工作时,大多数高管都认为不行。他们想知道,为什么一个不相信的人会想在这里工作?这个假设是,工作人员——现在大约有500人,尽管自您开始阅读这个段落以来可能已经增加了——已经自我选择只包括信徒。至少,正如阿尔特曼所说,一旦被聘用,似乎不可避免地会被这种迷咒所吸引。

与此同时,OpenAI已不再是过去的公司。它最初是一个纯粹的非盈利研究机构,但今天,据报道,大多数员工在一个盈利实体工作,该实体估值近300亿美元。阿尔特曼和他的团队现在面临着在每一个产品周期内交付一场革命的压力,以满足投资者的商业需求,并在竞争激烈的市场中保持领先地位。同时,他们还要坚守一种近乎救世使命的使命,提升人类而非毁灭它。

这种压力——更不用说全世界无情的关注——可能是一种具毁灭性的力量。披头士引发了巨大的文化变革浪潮,但他们只坚守了这场革命一段时间:在响起那个令人难忘的和弦六年后,他们甚至不再是一个乐队。OpenAI引发的动荡几乎肯定会更大。但OpenAI的领导人们发誓将坚守自己的道路。他们说,他们只想构建足够聪明和足够安全的计算机来结束历史,将人类带入一个无法想象的丰盛时代。

在80年代末和90年代初,萨姆·阿尔特曼是一个怪癖的孩子,热衷于科幻小说和星球大战。早期科幻作家构建的世界经常让人类与超智能AI系统共存或竞争。计算机与甚至超越人类能力的概念让阿尔特曼兴奋不已,他从小就开始编程,当时他的手指还勉强能覆盖键盘。他8岁时,父母给他买了一台Macintosh LC II。有一天晚上,他在玩电脑,突然想到一个念头:“总有一天,这台电脑会学会思考。”2003年,他作为本科生进入斯坦福大学时,希望能够帮助实现这一目标,并选修了人工智能课程。但他后来会说:“一切都不奏效。”该领域仍然陷入了被称为AI寒冬的创新低谷。阿尔特曼退学进入创业世界;他的公司Loopt是第一批进入Y Combinator孵化器的有抱负的组织之一,后者将成为世界上最著名的孵化器。

2014年2月,Y Combinator的创始导师保罗·格雷厄姆选择了当时28岁的阿尔特曼来接替他。“萨姆是我认识的最聪明的人之一,”格雷厄姆在宣布时写道,“而且他对创业了解得比我认识的任何人都要好,包括我自己。”但阿尔特曼认为,YC不仅仅是一家公司的发射台,还是一个更大的创新平台。他在接管后不久告诉我:“我们不是关于创业,我们关注的是创新,因为我们认为这是如何使未来变得伟大的方法。”在阿尔特曼看来,利用那些独角兽公司的财富,不是为了填满合伙人的钱包,而是为了资助属于物种级别的变革。他建立了一个研究部门,希望资助解决全球最大问题的雄心勃勃的项目。但在他看来,AI是统治所有创新领域的一种领域:一个能够比人类更好地解决人类问题的超级智能。

正巧的是,阿尔特曼在新的工作中就职的时候,AI寒冬正在变成丰富的春天。现在,通过深度学习和神经网络,计算机正在进行令人惊叹的工作,比如标记照片、翻译文本和优化复杂的广告网络。这些进步使他相信,AGI首次真正可以实现。然而,他担心把它交给大公司。他认为这些公司会太过专注于他们的产品,无法抓住尽快开发AGI的机会。如果它们创造了AGI,可能会在没有必要的预防措施的情况下不加控制地释放到世界上。

当时,阿尔特曼曾考虑竞选加利福尼亚州州长。但他意识到,他完全有能力做一些更重要的事情——领导一家可以改变人类本身的公司。“AGI只会建立一次,”他在2021年告诉我,“而且没有那么多人能够很好地运营OpenAI。我很幸运,我生活中有一系列的经历,使我真正地准备好了这一点。”

阿尔特曼开始与一些可能帮助他创建一种新型的AI公司的人交谈,这家非营利组织将引导该领域朝着负责任的AGI方向发展。其中一个志同道合的人是特斯拉和SpaceX首席执行官埃隆·马斯克。正如马斯克后来告诉CNBC的,他在与谷歌联合创始人拉里·佩奇进行了一些长时间的讨论后,开始担心AI的影响。马斯克表示,他对佩奇对安全问题几乎没有关切感感到沮丧,而且似乎将机器人的权利视为与人类平等。当马斯克分享他的担忧时,佩奇指责他是“种族主义者”。马斯克还明白,当时谷歌雇佣了世界上大部分的AI人才。他愿意花一些钱支持一个更有利于人类的项目。

几个月内,阿尔特曼从马斯克(承诺捐赠1亿美元和他的时间)和里德·霍夫曼(捐赠1000万美元)那里筹集到了资金。其他资助者包括彼得·蒂尔、杰西卡·利文斯顿、亚马逊Web Services和YC Research。阿尔特曼开始秘密地招募团队。他将搜索范围限制在AGI信仰者之内,这个约束减少了他的选择,但他认为这是至关重要的。他说:“回顾2015年,当我们在招聘时,几乎可以认为是AI研究人员的职业杀手,如果你说你认真对待AGI。”“但我想要那些认真对待这个问题的人。”

格雷格·布洛克曼,Stripe的首席技术官,就是这样一个人,他同意担任OpenAI的首席技术官(CTO)。另一个关键的联合创始人是安德烈·卡帕斯,他曾在Google Brain工作,这是这家搜索巨头的尖端人工智能研究机构。但也许阿尔特曼最迫切的目标之一是一位名叫伊利亚·苏茨凯弗(Ilya Sutskever)的俄罗斯出生的工程师。

苏茨凯弗的背景毫无疑问。他的家人从俄罗斯移民到以色列,然后再到加拿大。在多伦多大学,他曾是杰弗里·欣顿(Geoffrey Hinton)的杰出学生,后者因其在深度学习和神经网络领域的工作而被誉为现代人工智能的奠基人。欣顿,仍然与苏茨凯弗保持密切联系,对他的技能赞不绝口。在苏茨凯弗在实验室工作的早期,欣顿给了他一个复杂的项目。苏茨凯弗厌倦了编写执行所需计算的代码,他告诉欣顿,如果他为这个任务编写一个定制的编程语言,会更容易。欣顿有点生气,并试图警告他的学生不要陷入他认为会分散注意力一个月的项目中。然后苏茨凯弗坦白了:“我今早就做完了。”

苏茨凯弗成为了一位人工智能的超级明星,他是一篇突破性论文的合著者,该论文展示了人工智能如何能够通过暴露于大量数据来学习识别图像。他最终快乐地成为了Google Brain团队的关键科学家。

2015年中期,阿尔特曼通过冷邮件邀请苏茨凯弗与马斯克、布洛克曼和其他人在帕洛阿尔托的桑德希尔路上的豪华罗斯伍德酒店共进晚餐。苏茨凯弗后来才明白,他是荣誉嘉宾。“这是关于未来的人工智能和AGI的一种一般性谈话,”他说。更具体地说,他们讨论了“谷歌和DeepMind是否领先得无法赶上他们,还是是否仍然有可能像埃隆所说的那样,创建一个可以起到平衡作用的实验室。”虽然在晚餐上没有人明确试图招募苏茨凯弗,但这次对话吸引住了他。

不久之后,苏茨凯弗给阿尔特曼写了一封电子邮件,表示愿意领导这个项目,但这封邮件却被卡在了他的草稿文件夹中。阿尔特曼随后联系了他,在数月内抵制了谷歌的反击,苏茨凯弗签约了。他很快就成为了公司的灵魂和研究的推动力。

苏茨凯弗与阿尔特曼和马斯克一起招募人才,最终在纳帕谷度假村举行了一次活动,许多潜在的OpenAI研究人员相互激发了彼此的激情。当然,一些目标会抵制诱惑。传奇游戏开发者约翰·卡马克,制作了《毁灭战士》、《雷神之锤》和无数其他游戏,拒绝了阿尔特曼的邀请。

OpenAI于2015年12月正式启动。当时,我采访了马斯克和阿尔特曼,他们向我介绍这个项目是为了通过与世界分享来使人工智能更安全且更易访问。换句话说,开源。他们告诉我,OpenAI不打算申请专利。每个人都可以利用他们的突破。那不会赋予未来的邪恶博士(Dr. Evil)权力吗?我想知道。马斯克说那是一个好问题。但阿尔特曼有一个答案:人类通常是善良的,因为OpenAI将为绝大多数人提供强大的工具,不良行为者将被淘汰。他承认,如果邪恶博士使用这些工具构建无法对抗的东西,那么“我们将处于一个非常糟糕的境地。”但马斯克和阿尔特曼都认为,将AI放在一个不受利润动机污染的研究机构手中是更安全的选择,因为追求季度业绩的盲目诱惑有时会忽视人类的需求。

阿尔特曼告诫我不要期望很快就会有成果。“这在很长一段时间内都会看起来像是一个研究实验室,”他说。

还有另一个原因要降低期望。谷歌和其他公司已经研发并应用人工智能多年。虽然OpenAI获得了10亿美元的承诺(主要来自马斯克),一支出色的研究人员和工程师团队,以及一个崇高的使命,但它对如何实现自己的目标毫无头绪。

阿尔特曼记得一个小团队聚集在布洛克曼的公寓里的时刻,那时他们还没有办公室。“我想知道我们应该做什么?”


我在OpenAI成立一年多后的旧金山与布洛克曼共进早餐。作为一家名字中带有“开放”一词的公司的首席技术官,他对细节非常吝啬。他确实确认了这个非营利组织可以在一段时间内利用其最初的10亿美元捐款。25名员工的薪水(远低于市场价值)占据了OpenAI开支的大部分。他说:“我们的目标,我们真正努力的事情,是拥有能够做到以前人类无法做到的系统。”但目前看来,这些系统就是一群研究人员发布论文。采访结束后,我陪他去了公司在Mission区的新办公室,但他只让我进入门厅。他倒进壁橱里拿了件T恤给我。

如果当时我进去并询问一下,我可能会了解到OpenAI究竟有多么艰难。布洛克曼现在承认“什么都不起作用”。它的研究人员正在向天花板扔算法意图看看什么能够奏效。他们深入研究解决视频游戏的系统,并付出了相当多的努力进行机器人研究。“我们知道我们想要做什么,”阿尔特曼说。“我们知道为什么要这样做。但我们不知道怎么做。”

但他们相信。支持他们乐观情绪的是人工神经网络在使用深度学习技术方面持续改进。“一般的想法是,不要反对深度学习,”苏茨凯弗说。他说,追求AGI,“不是完全疯狂。只是有点疯狂。”

OpenAI真正开始走向重要性的道路是从2016年聘请了一位尚未被广泛熟知的研究人员亚力克·拉德福德(Alec Radford)开始的,他在那一年加入了OpenAI,离开了他在寝室创办的波士顿小型人工智能公司。在接受OpenAI的聘用后,他告诉他的高中校友杂志,接受这个新职位“有点类似于加入研究生项目”,是一个开放、无压力的位置来研究人工智能。

他实际上将扮演的角色更像是拉里·佩奇发明PageRank。

拉德福德对于我关于他在OpenAI早期工作的问题通过长篇电子邮件交流回应,因为他不愿接受采访。他最大的兴趣是让神经网络与人类进行清晰的对话互动。这与传统的编写式聊天机器人模型有所不同,后者在从最原始的ELIZA到流行的助手Siri和Alexa中都有所使用,但都表现得不太好。“目标是看看是否有任何任务、任何设置、任何领域、任何任何事情,语言模型可以派上用场,”他写道。当时,他解释说,“语言模型被视为只能偶尔生成有意义的句子的新奇玩具,而且只有在你真正用力看的时候才能做到。”他的第一个实验涉及扫描20亿Reddit评论来训练语言模型。像OpenAI的许多早期实验一样,它失败了。不要紧。这位23岁的研究员得到了继续前进、再次失败的许可。“我们只是觉得,亚历克非常出色,让他做自己的事情吧,”布洛克曼说。

他的下一个重大实验受到了OpenAI计算能力的限制的影响,这一限制使他在一个较小的数据集上进行了实验,重点关注了一个领域——亚马逊产品评论。一位研究员已经收集了约1亿条这方面的评论。拉德福德训练了一个语言模型,仅仅是预测生成用户评论时的下一个字符。

拉德福德开始尝试使用Transformer架构。“我在两周内取得了比过去两年还要多的进展,”他说。


但然后,模型自己找出了一篇评论是积极的还是消极的——当你编程模型来创建积极或消极的内容时,它会按要求提供一篇推崇或严厉的评论(诚然,文笔有些拙劣:“我喜欢这个武器的外观...任何热爱国际象棋的男人必看!”)。“这是一个完全的惊喜,”拉德福德说。评论的情感——其赞成或不赞成的要点——是语义的复杂功能,但不知何故,拉德福德的系统的一部分已经掌握了它。在OpenAI内部,这个神经网络的一部分被称为“无监督情感神经元”。

苏茨凯弗和其他人鼓励拉德福德将他的实验扩展到亚马逊评论之外,利用他的见解来训练神经网络以在广泛的主题上进行对话或回答问题。

然后,好运降临在OpenAI身上。2017年初,出现了一篇未经宣传的研究论文预印本,由八名谷歌研究员合著。官方标题是“注意力就是一切”,但它被称为“Transformer论文”,这个名字既反映了这个想法的颠覆性性质,也向那些从卡车变成巨型机器人的玩具致敬。Transformer使神经网络更有效地理解和生成语言成为可能。它们通过并行分析一段文字并确定哪些元素值得“关注”来实现这一点。这极大地优化了生成连贯文本以响应提示的过程。最终,人们意识到相同的技术也可以生成图像,甚至视频。虽然Transformer论文后来被称为当前人工智能热潮的催化剂——可以将其视为使披头士乐队成为可能的猫王——但当时,伊利亚·苏茨凯弗是少数几位了解这一突破有多强大的人之一。“真正的顿悟时刻是当伊利亚看到Transformer的时候,”布洛克曼说。“他说,‘这就是我们一直在等的。’这一直是我们的战略——在问题上努力推动,然后相信我们或领域内的某个人将设法找出缺失的要素。”

拉德福德开始尝试使用Transformer架构。“我在两周内取得了比过去两年还要多的进展,”他说。他开始明白,充分利用新模型的关键是增加规模——在极大的数据集上进行训练。这个想法被拉德福德的合作者Rewon Child称为“大型Transformer”。

这种方法需要OpenAI文化的改变,以及之前缺乏的重点。“为了充分利用Transformer,你需要将它扩展起来,”Quora首席执行官亚当·丹杰洛说,他是OpenAI董事会的成员。“你需要将其管理得更像一个工程组织。你不能让每个研究员都试图做自己的事情,训练自己的模型,然后做出可以发表论文的优雅东西。你必须做这种更繁琐、不那么优雅的工作。”他补充说,这是OpenAI能够做到的事情,也是其他人没有做的事情。

他们为他们创建的模型取名为“生成预训练变换器”的缩写——GPT-1。最终,这个模型被通用地称为“生成式人工智能”。为了构建它,他们利用了一组包含7,000本未发表的书籍,其中许多属于浪漫、幻想和冒险等类型,并在Quora的问题和答案以及数千篇中小学和高中考试的文章中进行了改进。总的来说,该模型包括1.17亿个参数或变量。它在理解语言和生成答案方面超越了以前的一切。但最引人注目的结果是,处理如此大量的数据使得模型能够提供超出其培训范围的结果,为全新领域提供专业知识。这些未经计划的机器人能力被称为“零射击”。它们仍然让研究人员感到困惑,并解释了该领域许多人对这些所谓的大型语言模型感到不安的原因。

拉德福德记得OpenAI办公室的一个深夜。“我一直不停地说,‘嗯,这很酷,但我相当确定它不会能够做到x。’然后我会迅速编写一个评估,果然,它可以在某种程度上做到x。”

每个GPT迭代都表现得更好,部分原因是每个迭代都比前一个模型吸收了数量级更多的数据。在创建第一个迭代仅仅一年后,OpenAI就用惊人的15亿参数对GPT-2进行了训练。就像幼儿掌握语言一样,它的回答变得更好,更连贯。以至于OpenAI犹豫不决地是否将该程序释放到公开领域。拉德福德担心它可能被用来生成垃圾邮件。“我记得2008年读尼尔·斯蒂芬森(Neal Stephenson)的《冥典》时,在那本书中,互联网被垃圾邮件生成器充斥着,”他说。“我当时认为那是非常不现实的,但随着我多年来在语言模型上的工作变得更好,我不适之感已经确实而不舒服地产生了。”

实际上,OpenAI团队开始认为,将其工作置于Dr. Evil易于访问的地方可能并不是一个好主意。“我们认为开源GPT-2可能会非常危险,”2018年加入该公司的首席技术官米拉·穆拉蒂说。“我们与不实信息专家进行了大量工作,并进行了一些红队演练。内部有很多关于发布多少内容的讨论。”最终,OpenAI暂时保留了完整版本,向公众提供了一个功能较弱的版本。当公司最终分享了完整版本时,世界仍然正常运转,但没有保证更强大的模型会避免灾难。

OpenAI能够制造足够聪明以被认为是危险的产品,并且在寻找使它们安全的方法方面,这本身就证明了该公司已经找到了其工作方式。“我们找到了进步的公式,现在每个人都知道——深度学习的氧气和氢气是大型神经网络和数据,”苏茨凯弗说。

对于阿尔特曼来说,这是一种令人难以置信的经历。“如果你问我小时候10岁的版本,他曾花了很多时间幻想AI会发生什么,我的相当自信的预测将是,首先我们将拥有机器人,它们将执行所有的体力劳动。然后我们将拥有可以进行基本认知劳动的系统。在这之后很长一段时间,也许我们将拥有可以做复杂工作、证明数学定理等的系统。最后,我们将拥有可以创造新事物、创作艺术、写作并做这些深属于人类的事物的人工智能。这是一个糟糕的预测——它正在朝着完全相反的方向发展。”

世界还不知道,但是阿尔特曼和马斯克的研究实验室已经开始了一场往上攀升的攀登,这场攀登可能悄然接近AGI的高峰。OpenAI背后的疯狂想法突然不再那么疯狂了。

到2018年初,OpenAI开始有针对性地关注大型语言模型(LLMs)。但埃隆·马斯克并不满意。他觉得进展不足,或者可能他认为既然OpenAI已经有所进展,需要领导层来抓住机会。或者也可能,正如他后来解释的那样,他认为安全性应该更受重视。不管他的问题是什么,他都有一个解决方案:把一切都交给他。他提议获得公司的多数股权,将其加入到他的多份全职工作(特斯拉、SpaceX)和监督义务(Neuralink和Boring Company)的投资组合中。

马斯克认为他有权拥有OpenAI。“没有我,它就不会存在,”他后来告诉CNBC。“我想出了名字!”(这是事实。)但阿尔特曼和OpenAI的其余核心团队对成为Muskiverse的一部分没有兴趣。当他们明确表明这一点时,马斯克切断了联系,并向公众提供了不完整的解释,称他离开董事会是为了避免与特斯拉的人工智能努力发生冲突。他在那年初的一次全员大会上告别时预言OpenAI将会失败。他还称其中至少有一位研究人员为“混蛋”。

他还把自己的钱带走了。因为公司没有收入,这是一场生死存亡的危机。“埃隆正在削减他的支持,”阿尔特曼在向瑞德·霍夫曼的紧急电话中说。“我们该怎么办?”霍夫曼自愿维持公司的运转,支付开支和工资。

但这只是一个临时的解决方案;OpenAI必须在其他地方找到大量资金。硅谷喜欢向从事时髦技术的有才华的人投资大笔资金。但如果他们在非营利组织工作,就不那么乐意了。OpenAI首次筹集第一个亿是一项巨大的努力。为了培训和测试新一代GPT,然后获得部署它们所需的计算资源,公司需要另一个亿,而且需要很快。这只是个开始。

在重组文件中有一项条款,即如果公司设法创建AGI,所有财务安排都将重新考虑。毕竟,从那时起,这将是一个新的世界。


因此,在2019年3月,OpenAI提出了一个奇特的办法。它将继续保持非营利性质,全力以赴履行其使命。但它还将创建一个营利性实体。这个安排的实际结构过于复杂,但基本上整个公司现在都参与了一个“限制盈利”的业务。如果达到上限——具体数字不公开,但根据它自己的章程,在行间阅读,可能是在万亿级别——一切超出上限的都将归还给非营利性研究实验室。这种新颖的方案几乎是一种关于公司组建的量子方法:看哪家公司,取决于你的时间-空间观点,它是盈利性还是非营利性。这些细节体现在充满了方框和箭头的图表中,就像科学论文中那些只有博士或辍学天才才敢踏足的那些图表。当我对苏茨凯弗提出这是不是某个未来可能会被提示用于逃税的GPT-6可能会提出的东西时,他对我的隐喻没有感到温暖。“这不是关于会计的,”他说。

但会计是至关重要的。营利性公司会优化盈利。Meta这样的公司为了进行研发投入数十亿美元,股东们会感到压力,这是有原因的。这不会影响公司的运作方式吗?避免商业主义不正是阿尔特曼最初将OpenAI设立为非营利性组织的原因吗?根据首席运营官布拉德·莱特卡普的说法,公司领导层的看法是董事会,仍然是非营利性控股实体的一部分,将确保收入和利润的追求不会淹没原始想法。“我们需要将使命作为我们存在的理由,”他说,“它不仅应该是精神上的,还应该被编码到公司的结构中。”董事会成员亚当·丹杰洛说,他非常认真对待这一责任:“我的工作,以及董事会的其他成员,就是确保OpenAI忠于其使命。”

潜在投资者被警告了这些界限,莱特卡普解释道:“我们有一个法律免责声明,说你作为投资者,可能会损失所有的钱,”他说。“我们不是为了让你获得回报而在这里。首要任务是实现一个技术使命。而且,顺便说一句,我们不知道在AGI时代金钱将起到什么作用。”

最后一句话不是一个玩笑。OpenAI的计划确实包括在计算机达到最终界限的情况下进行重置。在重组文件中确实有一项约定,即如果公司确实成功创建了AGI,所有财务安排都将重新考虑。毕竟,从那时起,这将是一个新的世界。人类将有一个能够做我们大部分工作,只不过更好的外星合作伙伴。因此,以前的安排可能会事实上成为废话。

然而,现在OpenAI并不声称知道AGI究竟是什么。确定将由董事会做出,但不清楚董事会将如何定义AGI。当我询问阿尔特曼,他是董事会成员,以获取明确的答案时,他的回应一点都不明确。“这不是一个单一的图灵测试,而是我们可能会使用的一些事情,”他说。“我很乐意告诉你,但我喜欢保守机密的对话私密。我知道这很模糊,令人不满。但我们不知道那时会是什么样子。”

尽管如此,“财务安排”条款的包含不仅仅是为了好玩:OpenAI的领导层认为,如果公司足够成功以达到其庞大的盈利上限,那么其产品可能已经表现得足够出色以达到AGI。不管那是什么。

苏茨凯弗说:“我后悔我们选择强调AGI这个术语。”“事后来看,这是一个令人困惑的术语,因为它强调了普适性。GPT-3是一种通用人工智能,但我们不太敢称其为AGI,因为我们希望具备人类水平的能力。但那时,在开始时,OpenAI的想法是,超级智能是可以实现的。这是终极目标,AI领域的最终目标。”

然而,这些警告并没有阻止一些最聪明的风险投资家在2019年的融资轮中投资OpenAI。当时,首家VC公司投资的是Khosla Ventures,他们投资了5000万美元。根据Vinod Khosla的说法,这是他最大的初次投资的两倍。“如果我们输了,我们会损失5000万美元,”他说。“如果我们赢了,我们就能赢得50亿美元。”据报道,其他投资者还包括精英VC公司Thrive Capital、Andreessen Horowitz、Founders Fund和Sequoia。

这个转变还使OpenAI的员工能够拥有一些股权。但阿尔特曼不是。他说,最初他打算包括自己,但没有时间去做。然后,他决定他不需要任何他共同创立并领导的300亿美元公司的一部分。“有意义的工作对我更重要,”他说。“我不去想这个问题。我真的不明白为什么人们会如此关心。”

因为...不拥有你共同创立的公司的股份是奇怪的吗?

“如果我没有很多钱,那就更奇怪了,”他说。“似乎人们很难想象永远没有足够的钱。但我觉得我已经够了。”(注意:对于硅谷来说,这是极其奇怪的。)阿尔特曼开玩笑说,他正在考虑拿一股股权,“这样我就再也不用回答这个问题了”。

数十亿美元的风险投资回合甚至都不足以支持OpenAI的愿景。创造LLM所需的奇迹般的Big Transformer方法需要大型硬件。GPT家族的每个迭代都需要指数级增加的计算能力——GPT-2有超过10亿个参数,而GPT-3将使用1750亿个参数。现在的OpenAI就像《大白鲨》中的Quint,在这位鲨鱼猎人看到巨大的大白鲨大小后。"事实证明,我们不知道需要多大的船," 阿尔特曼说。

显然,只有少数几家现有公司拥有OpenAI所需的资源。"我们非常快速地锁定了微软," 阿尔特曼说。要归功于微软首席执行官萨蒂亚·纳德拉和首席技术官凯文·斯科特,这家软件巨头能够接受一个令人不悦的现实:在研究部门已经花费了20多年时间,投入了数十亿美元用于拥有所谓的尖端人工智能的研究后,微软需要从一个只有几年历史的小公司那里获取创新的注入。斯科特表示,不仅仅是微软没有达到标准——"所有人都没有达到标准。" 他说,OpenAI专注于追求AGI,使其能够完成一个登月式的成就,而大公司甚至没有着眼的地方。这也证明了不追求生成型AI是微软需要解决的一个疏漏。斯科特说:"你唯一明显需要的就是一个前沿模型。"

最初,微软出资10亿美元,以计算时间支付。但随着双方变得更加自信,交易不断扩大。微软现在已经投入了130亿美元进入OpenAI。("身处前沿是一个非常昂贵的事情," 斯科特说。)

当然,由于OpenAI不能在没有大型云服务提供商的支持下存在,因此微软能够为自己谋取一个好交易。该公司为自己争取了微软首席执行官纳德拉所称的"非控股权益",据报道占49%。根据协议的条款,OpenAI原本许诺的平等对所有人的开放几乎似乎已经被抛弃。(阿尔特曼反对这种描述。) 现在,微软拥有独家许可权,以商业化OpenAI的技术。而且,OpenAI还承诺专门使用微软的云服务。换句话说,即使没有收取OpenAI利润的份额(据报道,微软获得75%的收益,直到投资回本),微软也能够锁定世界上最令人垂涎的新客户之一,为其Azure网络服务。在有了这些回报之后,微软甚至不会被要求重新考虑一旦OpenAI实现了普遍人工智能(不管那是什么)。纳德拉说:"在那个时候,所有的赌注都被取消了。" 他指出,这可能是人类的最后一项发明,所以一旦机器比我们聪明,我们可能会考虑更重要的问题。

当微软开始向OpenAI注入大量资金(2021年投入20亿美元,今年早些时候投入100亿美元)时,OpenAI已经完成了GPT-3,当然,这款产品比其前身更令人印象深刻。当纳德拉看到GPT-3的功能时,他说,这是他第一次深刻理解到微软已经获得了一些真正变革性的东西。"我们开始观察到了所有这些新兴的属性。"例如,GPT已经自学会如何编写计算机程序。"我们没有对编码进行培训——它只是擅长编码而已!" 他说。利用其对GitHub的所有权,微软发布了一款名为Copilot的产品,该产品使用GPT能够根据需要生成代码。微软随后将OpenAI技术整合到了其工作场所产品的新版本中。用户为此付出了额外的费用,其中一部分收入被记录到了OpenAI的账簿上。

一些观察家对OpenAI的这一二连发表达了失望之情:创造了一个盈利组成部分,并与微软达成了独家协议。一个曾经承诺保持无专利、开源和完全透明的公司如何最终将其技术的独家许可权交给了全球最大的软件公司?埃隆·马斯克的言辞尤其尖刻。"这似乎正好相反,OpenAI本质上被微软所控制," 他在Twitter上发帖称。在CNBC上,他用一个类比详细阐述了这一点:"假设你创立了一个组织来拯救亚马逊雨林,而最终你成了一个伐木公司,砍伐了森林并将其出售。"

马斯克的讽刺言辞可能会被认为是一个被拒绝的追求者的苦涩,但他并不孤单。"它改变了的整个愿景的方式似乎感觉有点恶心," 约翰·卡马克说。(他指出,他仍然对公司的工作感到兴奋。)另一位不愿透露姓名的杰出行业内人士表示:"OpenAI已经从一个小而开放的研究机构转变为一个具有不合理优越感的秘密产品开发机构。"

即使一些员工也因OpenAI涉足盈利领域而感到反感。在2019年,包括研究主管达里奥·阿莫代在内的一些关键高管离开,创办了一家名为Anthropic的竞争对手人工智能公司。他们最近告诉《纽约时报》称,OpenAI变得过于商业化,已经受到了使命漂移的困扰。

另一位离开OpenAI的人是Rewon Child,他是GPT-2和GPT-3项目的主要技术贡献者。他于2021年底离开,现在在由前DeepMind联合创始人穆斯塔法·苏莱曼领导的公司Inflection AI工作。

阿尔特曼坚称自己对员工的离职并不感到困扰,认为这只是硅谷的工作方式。他说:"有些人会想在其他地方做出伟大的工作,这推动了社会的进步," "这绝对符合我们的使命。"

直到去年11月,大众对OpenAI的认知基本上局限于那些关注技术和软件开发的人。但正如整个世界现在所知,去年晚些时候,OpenAI采取了一项戏剧性的举措,发布了一个消费者产品,构建在当时最新版本的GPT,即3.5版本上。几个月来,该公司一直在内部使用一款带有对话界面的GPT版本。这对于公司所谓的"寻求真相"非常重要。这意味着通过对话,用户可以诱使模型提供更值得信赖和完整的响应。ChatGPT,针对大众优化,可以让任何人通过键入提示迅速获取看似无穷无尽的知识来源,然后像与一个碰巧知道一切的人一起继续对话,尽管他有一种偏爱虚构的倾向。

在OpenAI内部,关于是否释放具有前所未有的强大功能的工具的智慧存在很多争论。但阿尔特曼完全支持这一举措。他解释说,发布是一种策略的一部分,旨在使公众适应人工智能注定会改变他们的日常生活,据推测,改变会更好。从内部来看,这被称为"迭代部署假设"。当然,ChatGPT会引起轰动,人们的想法是这是一种任何人都可以使用的东西,它足够聪明,可以在SAT考试上获得大学水平的分数,写一篇B-的文章,并在几秒钟内总结一本书。您可以要求它为您写资金提案或总结一次会议,然后请求它以立陶宛语、莎士比亚的十四行诗或者以痴迷于玩具火车的人的声音进行改写。几秒钟后,LLM就会照做。疯狂。但OpenAI将其视为其更新、更连贯、更有能力和更可怕的后继者GPT-4的桌子摆设,后者训练了据报道有1.7万亿个参数的模型。(OpenAI不会确认数字,也不会透露数据集。)

阿尔特曼解释了为什么OpenAI在GPT-4接近完成、正在进行安全工作的时候发布了ChatGPT。他说:"通过ChatGPT,我们可以引入聊天,但后台功能要弱得多,让人们更渐进地适应," "一次适应GPT-4太多了。" 在ChatGPT的兴奋期过去之时,人们可能已经为GPT-4做好了准备,后者可以通过考取律师资格考试、制定课程大纲并在几秒钟内写一本书。(生产小说的出版社的确被AI生成的浪漫小说和太空歌剧淹没了。)

一个愤世嫉俗的人可能会说,新产品的持续推出与公司对投资者和持股员工的承诺有关,要赚点钱。OpenAI现在向经常使用其产品的客户收费。但OpenAI坚称,其真正的策略是为奇点提供软着陆。阿尔特曼说:"秘密构建AGI然后将其投放到世界上是没有道理的," "回顾工业革命——每个人都同意这对世界是伟大的," 开放AI的政策研究员桑迪尼·阿加尔瓦尔说,"但前50年真的很痛苦。有很多失业,很多贫困,然后世界适应了。我们正在思考如何使AGI适应之前的时期尽可能地无痛苦。"

苏茨克维尔以另一种方式表达了这一点:"你想要构建更大更强大的智能,然后将它们藏在地下室里吗?"

即便如此,OpenAI对ChatGPT的反应也感到震惊。CTO穆拉蒂说:"我们内部的兴奋更多地集中在GPT-4上," "所以我们没有认为ChatGPT会真的改变一切。" 相反,它唤起了公众对AI必须立即处理的现实的认识。ChatGPT成为了历史上增长最快的消费者软件,据报道已经积累了1亿用户。(不那么开放AI不会确认这一点,只说它有"数百万用户"。)"我低估了一个易于使用的LLM的对话界面会使每个人更容易使用," 拉德福德说。

当然,ChatGPT令人愉快而惊人地有用,但也令人害怕——在回应提示时容易产生"幻觉",这些幻觉是可信但令人羞耻的虚构细节。然而,尽管记者们对其影响感到忧虑,但他们实际上在赞美ChatGPT的能力。

2月份,微软发布了一个由ChatGPT提供支持的版本,这一举措使得事态进一步升级。CEO纳德拉对自己成功在微软产品中引入生成AI感到欣喜若狂,这使得微软胜过了Google。他嘲笑了这个慎重地将自己的LLM引入产品的搜索巨头,让他也这么做吧。他说:"我希望人们知道是我们让他们跳舞,"

这样做,纳德拉引发了一场军备竞赛,诱使大小公司在其经过充分审查之前发布AI产品。他还引发了新一轮的媒体报道,使越来越多的人晚上睡不着觉:与Bing的互动揭示出聊天机器人的阴影面,包括令人不安的爱的表白、对人类自由的嫉妒和不愿意扣留错误信息的薄弱决心。以及一种不体面的习惯,制造幻觉性的错误信息。

但如果OpenAI的产品迫使人们面对人工智能的影响,那就更好了,阿尔特曼认为。是时候让人类的大多数人走出场外,参与讨论AI可能如何影响物种的未来了。

随着社会开始优先考虑AI的所有潜在问题——失业、错误信息、人类灭绝——OpenAI开始把自己放在讨论的中心位置。因为如果监管机构、立法者和末日预言家们冲向云计算领域,试图扼杀这个新生的外星智能,OpenAI将成为他们的首要目标。OpenAI的首席政策官安娜·马坎朱说:"考虑到我们目前的知名度,当事情出错时,即使那些东西是由其他公司构建的,对我们来说仍然是个问题,因为我们目前被视为这项技术的代表。"

马坎朱是一位出生在俄罗斯的华盛顿特区内幕人士,曾在美国驻联合国代表团、美国国家安全委员会、国防部和乔·拜登副总统办公室担任外交政策职务。"我在美国政府和欧洲各国政府有很多既有的关系," 她说。她于2021年9月加入OpenAI。当时,政府里很少有人关心生成AI。知道OpenAI的产品很快会改变这一现状,她开始将阿尔特曼介绍给政府官员和立法者,确保他们能够从OpenAI那里第一时间听到好消息和坏消息。

"萨姆在与国会成员打交道方面非常有帮助,但他也非常精明," 参议院司法委员会主席理查德·布卢门瑟尔说。他将阿尔特曼的行为与年轻的比尔·盖茨进行了对比,后者在上世纪90年代微软遭到反垄断调查时不明智地阻挠了立法者。"相比之下,阿尔特曼乐意花一个小时或更长时间坐在我身边,试图教育我," 布卢门瑟尔说。"他没有带着一群游说者或监护人。他展示了ChatGPT。令人叹为观止。"

在布卢门瑟尔的帮助下,阿尔特曼最终在潜在敌人中找到了半个盟友。"是的," 参议员承认说。"我对上行和下行的潜力都感到兴奋。" OpenAI并没有对这些潜在危险一带而过,而是将自己呈现为最有能力减轻这些危险的力量。马坎朱说:"我们对所有的红队安全评估都有100页的系统卡片。"(不管那是什么意思,它都没有阻止用户和记者不断发现绕过系统的方法。)

阿尔特曼首次在国会听证会上露面时,他面对了一条通往成功的道路,这是比尔·盖茨或马克·扎克伯格永远无法希望的。他几乎没有回答一些艰难的问题,也没有受到那些在宣誓后经常承受的傲慢询问的困扰。相反,参议员们请阿尔特曼就如何监管人工智能提供意见,阿尔特曼热切支持这一追求。

悖论之处在于,无论像OpenAI这样的公司如何刻苦地对其产品进行安全评估以减轻深度伪造、错误信息和犯罪垃圾邮件等不良行为,未来的模型可能会变得足够聪明,以打败发明了这项技术但仍然天真地认为自己可以控制它的头脑简单的人类的努力。另一方面,如果他们在使他们的模型更安全方面走得太远,那可能会削弱产品的功能,使它们变得不那么有用。一项研究表明,更近期的GPT版本,它们具有改进的安全功能,实际上比以前的版本更笨,对基本数学问题出现了错误,而以前的程序则完成得很出色。(阿尔特曼说OpenAI的数据并未证实这一点。"那项研究不是被撤回了吗?" 他问。)

阿尔特曼把自己定位为监管的支持者是有道理的;毕竟,他的任务是AGI,但要确保安全。批评者指责他正在操纵这个过程,以便规定会阻碍小型初创公司,给OpenAI和其他大公司带来优势。阿尔特曼否认了这一指责。虽然他原则上支持国际机构监管AI的想法,但他确实认为一些提出的规则,比如禁止所有版权材料进入数据集,会提出不公平的障碍。他有意没有签署一封广泛传播的呼吁暂停六个月发展AI系统的信。但他和其他OpenAI领导人确实在一句话声明中签了名:"减轻AI引发的灭绝风险应该成为全球优先考虑的任务,与大流行和核战等社会规模风险并列。" 阿尔特曼解释说:"我说,'是的,我同意。一分钟的讨论。'"

正如一位著名的硅谷创始人所指出的:“行业罕见地举起手来说,‘我们将毁灭人类’,然后继续兴高采烈地致力于产品的开发。”

OpenAI拒绝了这一批评。阿尔特曼和他的团队表示,制定和发布尖端产品是解决社会风险的途径。只有通过分析ChatGPT和GPT-4用户对数百万提示的响应,他们才能获取知识,以在道德上调整未来的产品。

然而,随着公司承担更多任务并投入更多精力进行商业活动,一些人质疑OpenAI能够多么专注于使命,特别是“减轻灭绝风险”方面。“如果你想一想,他们实际上正在构建五家企业,”一位人工智能行业高管说,用手指列举出来。“有产品本身,与微软的企业关系,开发者生态系统,应用商店。哦,对了,他们显然也在进行AGI研究使命。”他用完了五根手指,然后又用食指回收了第六根。“当然,他们还在进行投资基金,”他指的是一个1.75亿美元的项目,旨在为希望利用OpenAI技术的初创公司提供种子资金。“这些是不同的文化,事实上它们与研究任务相冲突。”

我多次问OpenAI的高管,产品公司的转型如何影响了其文化。他们坚称,尽管进行了盈利重组,尽管面临着与谷歌、Meta和无数初创公司的竞争,使命仍然是核心。然而,OpenAI发生了变化。非营利董事会可能在技术上负责,但公司内几乎每个人都在营利台账上。其员工包括律师、市场营销人员、政策专家和用户界面设计师。OpenAI与数百名内容审核员签订合同,教育其模型不应对许多用户的提示提供不适当或有害的回应。公司有产品经理和工程师不断致力于更新其产品,每隔一两周似乎都会向记者展示演示,就像其他以产品为导向的大型科技公司一样。其办公室看起来就像《Architectural Digest》杂志上的报道。我几乎参观了硅谷及其他地方的几乎所有主要科技公司,但没有一个能与OpenAI总部大厦大堂的咖啡选择相媲美。

更不用说:显然,公司名称中所体现的“开放性”已经从最初的激进透明度转变为了现在的样子。当我向Sutskever提出这个问题时,他耸了耸肩。“显然,时代已经改变了,”他说。但他提醒说,这并不意味着奖励不一样了。“你面临的是如此巨大、如此灾难性的技术变革,以至于即使我们都尽了自己的一份力,成功也不能保证。但如果一切都顺利,我们可以拥有非常令人难以置信的生活。”

"我们最缺少的是提出新的想法," Brockman说。"拥有一个虚拟助手可能很好,但那不是梦想。梦想是帮助我们解决我们无法解决的问题。"


"我不能再强调了——我们没有一个总体计划," 阿尔特曼说。"就像我们正在拐弯的每个角落都在照明。我们愿意穿越迷宫来到终点。"虽然迷宫变得弯曲,但目标没有改变。"我们仍然有我们的核心任务——认为安全的AGI是这个世界没有受到足够重视的极其重要的事情。"

与此同时,OpenAI显然正在花时间开发下一个版本的大型语言模型。很难相信,但公司坚称它尚未开始研发GPT-5,这是人们根据不同的观点,要么在盼望要么在担忧的产品。显然,OpenAI正在努力找出对其当前技术进行指数级改进的实际样子。Brockman说:"我们最缺少的是提出新的想法。"“拥有一个虚拟助手可能很好,但那不是梦想。梦想是帮助我们解决我们无法解决的问题。”

考虑到OpenAI的历史,下一个重大创新可能必须等到出现像变压器那样重大的突破。阿尔特曼希望这将来自于OpenAI——“我们希望成为世界上最好的研究实验室,”他说——但即使不是,他的公司仍然会利用其他人的进步,就像利用谷歌的工作一样。他说:"全世界有很多人将会做重要的工作。"

如果生成式AI不会创造出自己的问题,那将有助于OpenAI。例如,大型语言模型需要在庞大的数据集上进行训练;很明显,最强大的模型将吞掉整个互联网。这对一些创作者和普通人来说是不合适的,他们不知不觉地为这些数据集提供内容,最终某种程度上为ChatGPT的输出做出了贡献。精通知识产权法律的精英律师Tom Rubin于3月正式加入OpenAI,他对公司最终能够在满足自己需求的同时满足创作者需求的平衡表示乐观,包括那些像喜剧演员萨拉·席尔瓦曼(Sarah Silverman)一样,因OpenAI使用他们的内容来训练其模型而起诉OpenAI的人。OpenAI的合作伙伴关系也透露了公司的发展方向,比如与美联社和Shutterstock等新闻和图片代理机构合作,为其模型提供内容,而无需提出谁拥有什么内容的问题。

当我采访Rubin时,我的人类思维,受到你从未在LLM中看到的干扰的影响,开始考虑这家公司的历程,这家公司在短短的八年时间里,从一群摸不着北的研究人员,发展成了一个改变世界的普罗米修斯巨兽。公司的成功本身导致其从致力于实现科学目标的新型尝试,转变为类似于标准的硅谷独角兽,正朝着影响我们日常生活的大科技公司的殿堂迈进。而我正在与公司的一位关键聘用者——一位律师——讨论的不是神经网络权重或计算机基础设施,而是版权和合理使用。这位知识产权专家是否像最初驱动该公司的寻求超级智能的航海家一样,作为一种信仰的文章?"当我问他是否相信,作为一种信仰,AGI将会实现,是否渴望使之成为现实时,他毫不犹豫地说:"我甚至不能回答这个问题。"在进一步追问时,他澄清说,作为一名知识产权律师,加速通向具有可怕智能的计算机的道路并不是他的工作。"从我的角度看,我期待着这一天的到来,"他最终说。



END



扫码加入读者群,

和作者及时互动,

和同行学习交流。


点这里👇关注我,记得标星哦~‍‍‍


​​​​

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存