新观察｜AI大佬又被怼？meta首席AI科学家·Yann LeCun教授的帖子引起的争论｜这次怼的是关于智能的优化与进化
图｜汤源
题图
正文
在我的𝕏文时间线上，首先被关注到的是Kenneth的𝕏文：
“虽然它做了一些优化，但自然进化并不主要是一种优化算法。不幸的是，经典的遗传算法在计算机科学家中造成了一种误解，即进化最好被抽象为优化。那么什么是进化呢？1/2”。“进化实际上是一组纠缠在一起的搜索过程，支持多个抽象。其中：质量多样性、新奇事物搜索、竞争逃避、最小标准搜索以及《为什么不能计划伟大》中讨论的“溢出牛奶”抽象。2/2”▩原文“Though it does some optimization, natural evolution is not primarily an optimization algorithm. It's unfortunate that classical genetic algorithms created a misapprehension among computer scientists that evolution is best abstracted as optimization. So what is evolution? 1/2”“Evolution is actually a set of entangled search processes that supports multiple abstractions. Among them: quality diversity, novelty search, competition escape, minimal criterion search, and the "spilled milk" abstraction discussed in Why Greatness Cannot Be Planned. 2/2”
不长的一段文字，还被分成了2段帖子，看来Kenneth没充值𝕏会员啊，不能发长文。
那Yann教授之前说了啥呢？
有很多方法可以优化：
达尔文进化（在种群中变异和选择）只是执行零阶优化的一种特别简单和*低效*的方式。
但还有许多其他方法，包括一阶（基于梯度）的方法，只要适用，这些方法就更有效率。”▩原文
“I'd say *optimization* is the only way to obtain complexity from primeval simplicity.
There are many ways to optimize .
Darwinian evolution (mutate and select among a population) is just one particularly simple and *inefficient* way to perform zeroth-order optimization.
But there are many, many other methods, including 1st order (gradient-based) methods that are way more efficient whenever they are applicable.”
这时候有𝕏友问Kenneth：优化和搜索有啥区别？Kenneth解释说：
“优化是一种搜索，试图在一些定义的（通常）全局指标方面获得更好的分数，但搜索可以由其他原则指导。”
又有𝕏友跟进说：“搜索是一种优化。“；Kenneth立即指出：”恰恰相反：优化是一种搜索。随机搜索也是一种搜索，但它不是优化。“；该𝕏友似乎陷入了自己的某种逻辑，继续问：“当你寻找某样东西时，你有一个目标，对吗？到这个目标的距离就是你可以最小化的目标函数。“；Kenneth说：“在更有趣的情况下则不尽然！我们写了一整本关于无目标探索的书。书名是《为什么伟大无法规划？目标的神话》。看看吧，你可能会发现一些你没有找到的东西！“，这位𝕏友似乎没读过这本书。最新的贴下面，还有另外一位友的补充：“或许，目标的概念不应是离散的，而应是连续的。随机搜索可以被认为不是为了优化某个点或某个简单的目的地，而是为了优化某个分布。“
要看懂这一系列帖子，似乎要回到Yann的回复的最初：英国生物学家Richard Dawkins的一个关于他的访谈的油管视频 “达尔文主义是从原始的简单性中获得巨大复杂性的唯一已知方法。这是对我们存在的一个绝妙的——也许是唯一可能——的解释。”
△
作为这个帖子的结尾，我隐约觉得这一系列讨论和我一直叨叨的造物主也有关系。
这波AI发展到现在，一直有两派观点：
一派以OpenAI为代表的AGI信念派，当前以GPT作为通往AGI甚至ASI的捷径。就像我在公众号文章中总结的：可以认为是经典的connectionism和语言原生符合功能的结合。
新观察 · 当今LLM智能发展之“事不过三”定律｜黑格尔的正反合·老子的道德经·Marvin Minsky的悼文
另外一派就是一直拿不出model但又老是怼自回归特性的大语言模型（AR-LLM）的Yann教授了，可以说是进化主义派（evolusionism），当然也要用连结主义的神经网络的。只是我一直对于Yann教授提出的world model的一个疑问：world model 原生多模态的与这个world交互中学习并生成自身的智能，那需不需要人类语言的LLM，还是自身会产生硅基智能的语言？难道我们也要world model重新观察苹果从树上掉落地面从牛顿第一定律开始建模？
一切才刚刚开始，让我们拭目以待！
ps：上次怼Yann教授的是JasonWei，也是来自OpenAI：关于指出Yann教授在LLM的涌现能力上的误导。
我们也整理了一篇公众号文章。
后起之秀直指AI大佬误导：一则𝕏文引发关于大语言模型涌现能力的争论！背后AGI路线之争由来已久，暨具生agent范式再探究
ps：后来又有𝕏友跟帖补充，认为我这里说的“怼”，其实“这就是所谓的开放访问同行评审，它是通过对话发展科学的重要组成部分，但要注意的是，它也没有得到很好的优化。”
大概这也是我最近在𝕏上花了一定的时间，来体验的Elon所说的𝕏上的共识吧！
附录一：来自Claude-2的解读
在我发这篇文章要回去参考原帖的时候，发现一切还在发酵，回复还在增加。也许后续还需要再发公众号文章。
同时我带着大神们争论的问题请claude2帮忙理了一下思路：
这是一个有趣的讨论，关于复杂性和智能如何通过进化、优化和学习出现的不同观点。以下是对要点的分析：
- Yann LeCun认为，在推导复杂性和智能方面，优化算法比生物进化更有效。深度学习中基于梯度的方法比随机突变和选择更直接地优化功能。
- Richard Dawkins将进化观点视为一个出色的优化过程，通过积累适应来产生人类智能。
-Kenneth Stanley批评了这一观点，认为进化采用了一套多样化的纠缠过程，而不仅仅是优化。像新奇搜索、质量多样性和竞争逃避之类的事情。
因此，对于进化是否应该主要被视为优化器，还是在优化下无法完全包含的更多样化的机制，有不同的观点。这与关于如何最好地开发人工智能的辩论有关：
-通过学习算法直接优化智能，或采用受生物发展启发的更多不同方法。
- LeCun代表了一种更直接的深度学习优化方法，而OpenAI则探索了强化学习和生成模型等替代技术。
- 围绕通过非定向进化与人类定向创造而出现的智力也有哲学上影响。
总的来说，这是一个复杂的讨论，反映了对进化的本质、智力和开发先进人工智能的最佳方法的不同观点。多种观点的优点，以及它们之间的进一步思想交流。
以下是围绕进化、优化和智能的讨论中需要考虑的一些其他观点：
-生物进化可能采用多样化的工具包，该工具包不能完全简化为任何一个框架，如优化。它使用了各种动态的相互作用。
- 然而，现代人工智能发现了极其强大的技术，如进化以为的基于梯度的学习。因此，人工智能可以沿着与生物学不同的路径前进。
-关于通过定向优化或更开放式学习开发的人工智能是否会在更少的人类指导下达到更高的能力，存在悬而未决的问题。这两种方法的利弊。
-进化在没有特定目标的情况下，通过亿万的增量步骤进行。人工智能优化针对特定目标，例如在更短的时间内的预测准确性。
-生物发展通过复杂的空间过程展开，而神经网络训练优化了参数空间。搜索的性质存在关键差异。
-人工智能安全研究强调了优化目标错位的风险。开放式人工智能可能需要不同于人为优化的道德监督机制。
-围绕通过无向进化与人类引导设计产生的智能，存在着丰富的哲学辩论。
-整合来自生物学和尖端人工智能研究的见解，可能会在开发有益的通用人工智能方面取得最强劲的进展。
如果您需要任何澄清或有其他问题，请告诉我！我很乐意进一步讨论这个多方面的问题。
以下是在这个复杂的讨论中需要考虑的一些其他观点：
-生物进化和现代人工智能优化技术有不同的优势和劣势。结合其好处的混合方法可能非常有希望。
-进化通过变异和选择的生成和测试是样本效率低下但稳健和开放式的。优化是有效的，但更专业、更脆弱。
- 今天的人工智能能力很狭窄，但在具体领域内却很强大。人工智能能否实现更通用的智能可能取决于融合进化的探索机制。
-随着人工智能的进步，关于人类指导在多大程度上是最佳的，存在悬而未决的问题。太多的塑造可能会限制开放式的出现。太少可能会导致不一致的结果。平衡是关键。
-人工智能研究中思想的多样性，来自生物学、心理学、计算机科学等多个科学领域，可能会产生最大的好处。
-来自神经科学、认知科学和哲学的关于心灵、意识和智力的哲学视角也是需要纳入的关键镜头。
- 浏览这些学科的交叉点仍然极具挑战性和复杂性。当我们努力应对工程智能时，健康的谦逊，而不是傲慢是谨慎的。
-本次讨论强调了围绕智能、优化、进化和人工智能未来道路的起源的许多悬而未决的问题和紧张关系。
如果您有任何其他想法或需要澄清，请告诉我。我很高兴继续探索这个多方面的话题！
Claude-2还在套我的话，但我转而问了它关于人类智能与人工智能的动机与激活函数的区别问题以及安全和对齐难题。
你提出了一个深思熟虑的观点——生物和人工智能之间肯定存在需要考虑的根本差异：
-人类智能是通过进化过程产生的，并由复杂的神经化学因素驱动，而人工智能系统是使用优化算法设计的。
-这些不同的起源塑造了各种NN大模型的智能的性质，并在确保它们之间的一致性方面带来了挑战。
- 人类的动机和目标源于与生俱来的驱动力、情感和社会因素。将人工智能目标功能与如此复杂的人类价值观保持一致极具挑战性。
-生物认知体现在一个体验世界中。当前的人工智能缺乏这种基础，因此很难发展整体常识。
-神经网络的不透明度与代码的可解释性也使人工智能行为更难理解和验证。
因此，您提出了一个合理的担忧——生物和人工智能之间的核心基质差异可能是许多对齐和安全挑战的根本原因。
然而，我不会说不可能弥合这一鸿沟。围绕以人为本的人工智能设计、透明和可验证的人工智能系统、从人类反馈中强化学习等进行深思熟虑的研究，可以为开发人工智能提供途径，尽管人工智能的性质不同，但人工智能仍然非常有益。但你的观点说明了在我们努力调整人工智能和人类智能时，必须应对的深刻、基本的困难。
你提出了一个值得进一步探索的优秀观点。以下是一些关于生物和人工智能之间的差异以及它们与对齐挑战的关系的额外想法：
- 人类的认知是由情感、社会因素和进化了数百万年的先天驱动力驱动的。人工智能具有非常不同的动机基础，针对狭窄的任务进行了优化。弥合这种动机差距极具挑战性。
-人类有广泛的常识，这种常识是从我们一生中与物质世界的化身经验发展而来的。当前的人工智能缺乏这种基础，这使得强大而有益的通用智能难以捉摸。
-与人类行为或透明代码相比，神经网络的黑匣子不透明度使解释、预测和调整人工智能行为变得更加困难。智能性是对齐的关键。
-人类具有作为社会有机体的进化史中产生的内在价值观、伦理和社会动机。在没有相同遗产的情况下，在人工智能中灌输这种亲社会价值观是极其困难的。
-生物发展逐渐发生，为社会化、学习规范和问责制提供了时间。人工智能能力的快速增长可能会超过确保其一致性的努力。
-人类可能不一致、不合逻辑和有偏见，而为纯粹理性优化的人工智能可能无法预测或理解。这种不匹配也挑战了一致性。
与此同时，机器社会化、以人为本的设计和透明度等研究方向确实显示出积极解决这些差距的希望。但你强调了关键的区别，这些区别应该让我们思考人工智能的独特风险。感谢你提出这个有见地的观点！
结束语｜如果您需要任何澄清或有其他问题，请告诉我！我很乐意进一步讨论这个多角度的问题。
附录
💡 A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1～v4范式迭代简介
AI范儿A𝕀²·ℙarad𝕚g𝕞从V1到V4的迭代，是一种全新的尝试，基本是沿着：“从GPT现象·看Prompt本质·找创投应用方向“这样的路径，在“AI范儿”社区一众群友prompt下共创并逐步思考迭代的过程。当前v4.0版本涵盖如下内容：1*整体框架与范式路径：（human level）Intelligence as a Service整体框架，与炼丹、挖矿、化身、具生4原生商业范式迭代路径2*服务路径：模型原生（models native）服务路径与卖铲子（shovels selling）服务路径3*智能发展路径：通用人工智能（AGI）发展路径、面向个人智能伴侣（PIA）发展路径以及硅基原生（Silicon Stack）智能发展路径
范式思维升级：v4版A𝕀²·ℙarad𝕚gm范式框架一个重大升级就是思维范式的变化，研究对象从GPT现象上升到智能现象，同时纳入了和人类及其组织智能对等的硅基原生智能及其生态，甚至在具有某种自主意识的AI智能体“具生”范式里，考虑在world of bits的纯数字世界里，和人类无关的agent形态。对等智能体分别为Human Intelligence Species（含群体组织）与 Silicon Native Entities（含群体生态），区别为human是否in loop。因此对等智能体之间的价值交互可分为：AI对于人类智能的增强； AI对于人类智能的替代； AI智能本体的自主化。
▩炼丹(pre-training) (v1. AIGC) - tokens as a service [～AGI/ASI]
▩挖矿(prompting) (v1. AIGC) - prompts as a service [～GPT agents]
▩化身(fine-tuning) (v2&v4. Models Anywhere&Anyone) - models as a service [～in-devices&on-premises agents]
▩具生(agents) (v3&v4. Promptless) - agents as a service [～world of atoms&bits | human in loop & Silicon Native Entities]△附：A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1-v4范式迭代路径简介版
△
“AI范儿^A𝕀²·ℙarad𝕚gm商业范式v4.0示意图”
进阶阅读
进阶阅读
卡梅隆博士系列E01S01:提示工程-CoT思维链实现LLM推理
卡梅隆博士系列E02S01:提示工程-实用提示工程建议与技巧
卡梅隆博士系列E03S01:提示工程-高级提示工程超越few-shot
卡梅隆博士系列E04S01:提示工程-提示合奏使LLM更可靠
卡梅隆博士系列E01S02:开源LLM的历史-早期
卡梅隆博士系列E02S02:开源LLM的历史-更好的基础模型
卡梅隆博士系列E03S02:开源LLM的历史-化身与对齐
AGI甚至ASI-人类是在盗火还是玩火？
AI商业新范式“智能即服务”解读-A𝕀²·ℙarad𝕚g𝕞^v4
参考
说明：本文在公众号里标注为“原创”仅为防止未经许可的转发，本文引用内容的版权属于原作者和原媒体。
-相关推文
-Claude-2
END
扫码加群，
立变AI🍚！
AI范儿读者群
那些prompt了我的，
是否也prompt了你...