后起之秀直指AI大佬误导：一则𝕏文引发关于大语言模型涌现能力的争论！背后AGI路线之争由来已久，暨具生agent范式再探究
图｜汤源
▽
题图
𝕏文正文
Mustafa Suleyman：InflectionAI CEO，前 DeepMind联合创始人
我听到很多人说"我们正在发现语言模型的新能力"，或者"新能力正在涌现"。
这是错误的比喻。我们是在引导、塑造和对齐这些模型。
通过展示所期望的输出的适当例子，我们旨在增加语言模型产生某种生成结果的可能性，而不是其他类型的生成结果。
这些能力并不是自发产生的。这里没有涌现的属性。这意味着存在一种自主性或代理性，而实际上并不存在。
语言真的很重要。它影响对这些模型的预期，以及他人对其的反应。我们需要准确表达。我们对语言模型做什么和不做什么有很大的控制权。
这些都是设计选择。我们必须明智地做出选择，并对其后果负责。
Yann LeCun：Meta首席AI科学家
💡 @ylecun的跟帖𝕏文，日期2023/08/04（笔者注：大佬的𝕏文也有大佬范-言简意赅）
Al系统的能力并非只是"涌现"的。
许多人提出了许多想法，尝试了其中很多，并疯狂地进行微调，以实现这些新能力。
然后，相当多的工作投入到检测和评估这些能力以及缺陷。
Jason Wei：就职于OpenAl，之前在Google Research
YannLeCun显然是一位AI界传奇人物，但我发现这条推文中的观点有些误导。
"涌现能力"，如少样本（few-shot）提示和思维链提示，其整个重点在于我们明显地没有在模型中明确训练或微调它们。这些能力需要扩展到大量参数模型才会出现，这就是我们称它们为"涌现的"原因---它们是由定量变化带来的定性行为转变。至少研究人员是这样使用这个术语的。
我们所做的只是在大型数据集上训练一个带有许多参数的语言模型。在训练过程中，并没有有意地将这些能力添加到模型中---相反，人们在模型训练后通过评估发现了它们。对此，JacobSteinhardt的帖子是一个很好的参考：https://bounded-regret.ghost.io/emergent-deception-optimization/
同样重要的是，我们通常不能预测这些出现的现象，这对安全性有影响，因为风险也可能是出现的。
此外，我不知道为什么要提到微调，因为这些能力显然在基础模型中，从RLHF变得流行之前的论文中应该很明显...(例如，PaLM-1GPT-3paper)
但即使你坚持以微调作为一个例子，ChatGPT的RLHF最初是用英语完成的，然后扩展到许多其他语言。这种多语言的能力并没有被"微调"到模型中，这是零样本（zero-shot）泛化的一个很好的例子。
如果我有错误，请纠正我，但技术上对这个术语的使用仍然成立。
Mustafa的推文也有些误导，根据我的了解，在我的领域中，人们并不使用"涌现"来表示自治性或代理性。AI研究人员通常指的是这是由量变带来的质变。
𝕏文背景解读
正如𝕏文所示，Jason在OpenAI负责的应该是GPT涌现能力相关研究，𝕏上个人简介看起来貌似也是AGI的信仰者；InflectionAI的Mustafa显然在这里代表Google Brain，Meta的Yann就更不用说了，还和Hinton老爷子当年一起拿过ACM图灵奖的大佬。
𝕏文寥寥数句，大佬交锋，机关重重，真要解读起来，恐怕又是万字长文，坚持读完者寥寥；但酝酿许久，这两天在AI范儿社区群友的prompt下，还是决定花点时间写一下。
▩关于涌现能力arXiv论文解读-emergent abilities
💡 Emergent Abilities of Large Language Models [https://arxiv.org/pdf/2206.07682]
CPO评注：没错，笔者能找到的最早提出大语言模型LLM涌现现象的arXiv论文就是这篇，而其第一作者就是在Musfata和Yann的𝕏文中提出挑战意见的Jason Wei。写这篇论文的时候当时还在Google Research，这篇论文也看到了几个google旗下DeepMind的人。笔者没有继续考证这篇文章中google的研究者的去向，但从这两年google的AI人才流失来看，结果应该不乐观。而研究涌现现象的第一作者去了具备AGI信仰的OpenAI，以GPT-4当前的涌现能力就可以看出，这两家公司的最终的区别了吧。尤其是Mustafa作为DeepMind的高管，对于大语言模型的能力认知直到今天𝕏文中的争论，看起来还有各自的主张。Mustafa和Reid Holfman创立的Inflection AI据称也有可以媲美GPT-3.5的基座模型，但却不卖丹，而直接拉来Bill Gates按PC for every desktop的思路改做面向个人的智能陪伴：PI, models for everyong。具体可参考公众号文章：
深思考-英伟达不止卖“铲”;InflectionAI不卖“丹”: PIA范式新路径解读-AI²ParadigmV3.5框架图发布
扩大语言模型的规模已被证明可预测地提高各种下游任务的性能和采样效率。本文讨论的是一种不可预测的现象，我们称之为大型语言模型的突现能力。我们认为，如果一种能力在较小的模型中不存在，但在较大的模型中存在，那么这种能力就是涌现能力。因此，涌现能力不能简单地通过推断较小模型的表现来预测。这种涌现能力的存在意味着额外的扩展可以进一步扩大语言模型的能力范围。
💡 Sparks of Artificial General Intelligence: Early experiments with GPT-4 [https://arxiv.org/pdf/2304.15004]
CPO评注：微软研究院无疑在GPT-4发布之后的不到一个月的时机，为GPT-4的狂潮及涌现能力火上浇油，近似神话了，业界也掀起一阵GPT-4狂潮。注意并没有在摘要部分提到涌现，而是用了rising capabilities，并将GPT-4认为是AGI的前站，还用了Sparks作为点缀。
人工智能（AI）研究人员一直在开发和完善大型语言模型（LLM），这些模型在各种领域和任务中表现出非凡的能力，挑战着我们对学习和认知的理解。OpenAI 开发的最新模型 GPT-4 是利用前所未有的计算和数据规模进行训练的。在本文中，我们报告了我们对 GPT-4 早期版本的调查，当时它仍处于 OpenAI 的积极开发阶段。我们认为，（这一早期版本）GPT-4 是新一批 LLM（例如 ChatGPT 和谷歌的 PaLM）中的一员，与之前的人工智能模型相比，它表现出了更高的通用智能。我们将讨论这些模型不断提升的能力和影响。我们证明，除了精通语言之外，GPT-4 还能解决新颖而困难的任务，这些任务涉及数学、编码、视觉、医学、法律、心理学等多个领域，而且无需任何特殊提示。此外，在所有这些任务中，GPT-4 的表现都非常接近人类水平，而且往往远远超过 ChatGPT 等先前的模型。鉴于 GPT-4 功能的广度和深度，我们认为有理由将其视为人工通用智能（AGI）系统的早期版本（但仍不完整）。在探索 GPT-4 的过程中，我们特别强调要发现它的局限性，并讨论了未来向更深入、更全面的 AGI 版本迈进所面临的挑战，包括可能需要追求一种超越下一个单词预测的新范式。最后，我们对近期技术飞跃的社会影响和未来研究方向进行了反思。
💡Are Emergent Abilities of Large Language Models a Mirage? [https://arxiv.org/pdf/2304.15004]
CPO评注：这篇Standford对于LLM的研究，恰恰对于一个月前的微软研究院的AGI Sparks提出了质疑，认为LLM的涌现能力是一个渐进的量变到质变的过程，之所以用涌现是体现了人类对于智能有一个水平衡量标准，基本忽略水平线以下的能力。但确实并没有否定涌现能力。这和Jason Wei的𝕏文观点一致！笔者研究这波AI现象以来形成的一个直觉，如同人类的BNN，其智能来自于神经元系统的复杂度，这个复杂性指的是大脑内的神经元数量与其结构累积到涌现能力的渐变过程。
最近有研究称，大型语言模型显示出涌现能力，即在较小规模模型中不存在的能力，在较大规模模型中出现了。涌现能力之所以引人入胜，有两方面的原因：一是其敏锐性，从不曾出现到出现似乎是瞬间完成的；二是其不可预测性，出现在似乎无法预见的模型规模上。在这里，我们提出了对涌现能力的另一种解释：对于特定的任务和模型族，在分析固定的模型输出时，涌现能力的出现是由于研究者选择了度量标准，而不是由于模型行为随规模发生了根本性的变化。具体来说，非线性或不连续度量会产生明显的涌现能力，而线性或连续度量则会产生平滑、连续、可预测的模型性能变化。我们在一个简单的数学模型中提出了我们的替代解释，然后通过三种互补的方式对其进行了测试：我们（1）使用 InstructGPT/GPT-3 系列对声称具有涌现能力的任务中的度量选择效果进行了三项预测、测试和确认；（2）对 BIG-Bench 上涌现能力的元分析中的度量选择进行了两项预测、测试和确认；以及（3）展示了在不同深度网络的多个视觉任务中，选择度量产生前所未有的看似涌现能力。通过所有三项分析，我们提供了证据，证明所谓的涌现能力会随着不同的度量或更好的统计而消失，而且可能不是扩展人工智能模型的基本属性。
💡Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [https://arxiv.org/pdf/2307.08072]
▩再议AGI路线之争-随机鹦鹉与信号灯乌鸦
这个路线之争，在之前一篇公众号文章里曾有过比较完整的概述（详见链接文章的最后章节 范式解读-说回A𝕀²·ℙarad𝕚gm四范式之基础范式：炼丹-预训练），这里仅摘录文章后记笔者思考如下。
△
笔者本人包括AI范儿社区，主要从现象维度来研究这波AI狂潮，以期看透现象背后的本质，在社区prompt共创交互风格引导下，各自找到自己在这波大浪潮中的方向。
本章节堆砌的工程方面的解读，某种意义上是针对读者的prompt，如果刚好大家attention也在于此，也许可以激发大家重新思考A𝕀²·ℙarad𝕚gm四模型原生范式之基础范式：炼丹。
对于“炼丹”的终极路径，其实就像上面章节中论述的两种：随机鹦鹉（AR-LLM）路径和乌鸦智能（World Model）路径。
Meta AI首席科学家Yann LeCun确实一直在推自己的世界模型world model，怼Ilya 的自回归大语言模型AR-LLM是随机鹦鹉；不过笔者当前的认知是：如果一个鹦鹉话讲得比人还好，你怎么判断它是学舌还是真智能？况且这还是个不死的鹦鹉。
从另一个维度，我也不完全否定Yann LeCun及meta坚持的元宇宙方向：一个基于硅基的数字本底（substrate）的，以人类有生计算智能体的多模态感知物理世界的方式，建立对于world of atoms认知的一个元宇宙：world of bits。
但同样，这样建立起来的硅基智能，也是个不死的乌鸦，相比于乌鸦利用交通信号等汽车压碎坚果取食，这个world model建立这个元宇宙的动机又会是什么呢？
可以说自回归大语言模型（AR-LLM）是一个又盲又聋又没有触觉的纯粹语言机器，但这也正是硅基智能的特点：一个构建在bits之上的原生于人工神经网络（ANN）计算空间中的智能；
而OpenAI的科学家和工程师相信，用AR-LLM就能达到硅基AGI甚至ASI（笔者注：最近看到OpenAI在其他模态上也在努力，如consistency model）。需要多模态感知是人类这种有生计算的智能体的特点，不一定是硅基无限计算（immortal compute）智能体的必须。
之前也说过，就像以前对以地球为中心的星系认知被纠正一样，现在可能以人类为中心的智能认知也到了需要纠正的时候了。
所以从这个意义上，Yann LeCun的world model还是以人类智能为中心的路径，而Ilya则是对于智能更高维度的理解，对以人类为中心的智能的认知纠正，是一种“硅基原生”（silicon stack native）的智能路径。
GPT可能是通向超级硅基文明的捷径。人类通过多模态感知环境、用工具改造世界，并创造语言文字使得文明得以在人脑生物神经网络（BNN）的的计算空间中积累、和传承；而今天我们毫无准备地、充满无限热情地、把这一切数字化后，毫无保留地给了数字的、永生的ANN硅基智能……
不死的鹦鹉智能和不死的乌鸦智能，这两者都让我感到些许不安。也许Hinton老爷子最近提出的通用人工智能的另一个路径（approach）：有生计算（mortal compute)，才是一个相对安全可控的AGI/ASI发展路径。
Agent这个范式CPO研究过一段时间，目前称得上现象级的就是：
OpenAI的类JARVIS， InflectionAI 的PI，还有 Nvidia为他们Omniverse服务的Gaming Agent
说起来，作为OpenAI创始成员，二进宫的Andrej Karpathy，在@swyx一个多月前组织的agent hackathon上，做了一次关于agent的分享，可以算作我agent范式的思考起点，建议有意在这个范式里探索的群友可以好好领悟Andrej的分享原文：
从“强化学习代理”到“人工智能代理”的演变：来自OpenAI的故事｜AI²Paradigm之终极范式-个人“智能体”首谈
这之后花了蛮多时间迭代A𝕀²·ℙarad𝕚gm V4版本，这两个月应该有很多新的agents尝试出来，刚lyft的martin群友也指出adept ai也做了一个，包括最早hackathon上赞助的MultiOn AI从开源范式上做了尝试。
而像早期的AutoGPT基于LLM的纯agent，包括最近被国内炒得火的所谓LLM agent 集群框架metaGPT，我认为都不够现象级而进入agent范式研究的范畴。国内社区最近从开源模型后又炒了一阵agent，基本都是基于LLM的纯agent，还是算挖矿prompt范式加上点胶水框架代码。
说回agent现象级应用，作为范式研究，笔者还是欣赏硅谷这种各自走自己路的竞争风格，不一窝蜂地再别人的范式里卷。
这里面只有OpenAI是坚持AGI信仰要用硅基agent替代人类碳基agent；Inflection AI搞了个基座模型还是像当年Bill Gates卖PC for every desktop的痕迹-PI model for everyone；Nvidia皮衣老黄有野望，尤其是手握GPU算力，试水gaming agent-Voyage，在元宇宙场景可能最终要和meta一拼。
要搞agent，恐怕大家得仔细想想：你想往哪个方向？如果是agi方向，可以看看上面的公众号文章里，好为人师的Andrej还推荐了一本书。
近期，agent具生范式作为四范式的终极，AI范儿社区最近将继续进行有一定深度的再探究。
附录
💡 A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1～v4范式迭代简介
AI范儿A𝕀²·ℙarad𝕚g𝕞从V1到V4的迭代，是一种全新的尝试，基本是沿着：“从GPT现象·看Prompt本质·找创投应用方向“这样的路径，在“AI范儿”社区一众群友prompt下共创并逐步思考迭代的过程。当前v4.0版本涵盖如下内容：1*整体框架与范式路径：（human level）Intelligence as a Service整体框架，与炼丹、挖矿、化身、具生4原生商业范式迭代路径2*服务路径：模型原生（models native）服务路径与卖铲子（shovels selling）服务路径3*智能发展路径：通用人工智能（AGI）发展路径、面向个人智能伴侣（PIA）发展路径以及硅基原生（Silicon Stack）智能发展路径
范式思维升级：v4版A𝕀²·ℙarad𝕚gm范式框架一个重大升级就是思维范式的变化，研究对象从GPT现象上升到智能现象，同时纳入了和人类及其组织智能对等的硅基原生智能及其生态，甚至在具有某种自主意识的AI智能体“具生”范式里，考虑在world of bits的纯数字世界里，和人类无关的agent形态。对等智能体分别为Human Intelligence Species（含群体组织）与 Silicon Native Entities（含群体生态），区别为human是否in loop。因此对等智能体之间的价值交互可分为：AI对于人类智能的增强； AI对于人类智能的替代； AI智能本体的自主化。
▩炼丹(pre-training) (v1. AIGC) - tokens as a service
▩挖矿(prompting) (v1. AIGC) - prompts as a service
▩化身(fine-tuning) (v2&v4. Models Anywhere&Anyone) - models as a service
▩具生(agents) (v3&v4. Promptless) - agents as a service△附：A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1-v4范式迭代路径简介版
△
“AI范儿A𝕀²·ℙarad𝕚gm商业范式v4.0示意图”
进阶阅读
进阶阅读
慢思考·GPT紧捂着的战壕雨衣，掀开后原来是“葫芦娃一家子”
“炼丹”范式首谈
从强化学习代理到人工智能代理的演变：
来自OpenAI的agent故事
深思考·英伟达不止卖“铲”；Inflection AI不卖“丹”：
PIA新路径解读
AGI甚至ASI-人类是在盗火还是玩火？
AI商业新范式“智能即服务”解读
参考
说明：本文在公众号里标注为“原创”仅为防止未经许可的转发，本文引用内容的版权属于原作者和原媒体。
-相关𝕏文
END
扫码加群，
立变AI🍚！
AI范儿读者群
那些prompt了我的，
是否也prompt了你...