图｜Synthetic Intelligence

文｜Synthetic Intelligence/王飞跃/汤源

△

“连接主义语料库(橙)与符号主义语料库中

被引用的论文数量之比变化情况-来自论文Neurons spike back”

△

1. 所有阶段的持续时间都差不多。我们无法确定当前的阶段，但至少它目前没有偏离。
   

2. 所有阶段都是缓慢开始，然后是快速增长，最后是快速衰减。同样，我们还不知道当前阶段的衰减情况，但至少我们已经看到的动态与之前的阶段相似。另外，请记住，这是关于差异的问题，衰减并不一定意味着绝对数量的减少。

3. 每个下一阶段的规模都比上一阶段高出数倍。

1. 硬件和基础设施已经足够好，无需等待专门的解决方案即可使用。

2. 所有现有的数据公司都为快速采用下一代人工智能提供了一个巨大的平台。

3. 投资者和政府已经受到教育，认识到这一转变将带来巨大机遇。

4. 由于解决方案的普遍性（例如，计算机视觉和 NLP 领域之间不再分隔），技术堆栈的碎片化程度将大大降低，进展速度也将大大加快。

为了纪念刚刚去世的人工智能创始人之一，认知科学家Marvin Minsky教授，IEEE Intelligent Systems（IS）杂志正组织相关领域专家及其Minsky生前的学生与朋友，撰写In Memoriam（笔者注：悼文），以各具特色的自由风格，怀念这位在人工智能史上有着特殊重要地位的先驱和开拓者。作为IS的前任主编和现任名誉主编，我自然积极响应，并邀请了人工智能另一位重要的先驱与开拓者，斯坦福人工智能实验室的Nilsson教授共同参与。由于时间太短，正在夏威夷海滨度假的Nilsson无法完成，但提醒我邀请自己的校友，Minsky在MIT的两位早期博士毕业生Danny Bobrow和Bert Raphael。 

Danny和Bert都是自然语言处理的先驱，Danny的博士论文是关于文字代数问题求解的STUDENT程序，Bert的博士论文是关于语义信息搜索回取的SIR程序。STUDENT和SIR都是基于LISP写的，可以算是人工智能在早期NLP的里程碑工作。

Danny后来成为人工智能学会AAAI以及认知科学学会的主席，曾担任《人工智能》杂志主编；Bert与Nilsson等发明了A*搜索方法、研发了世界上第一台可移动智能机器人ShaKey，还参与创办了《人工智能》杂志并任主编。

有趣的是，当年Danny和Bert在RPI（Rensselaer Polytechnic Institute）读大学时是室友，1957年毕业后，分别去了Harvard和Brown读硕士；后来两人野营时相会，Danny问Bert在做什么。Bert说正研究弹性波多散射问题；Danny说这听起来没多大意思，他正研究如何用相机识别Marvin的光头，只要Marvin走进房间，计算机就喊：“Hello，Marvin！”。一周后，Bert申请转到MIT，成为Minsky的学生，毕业后去了SRI（笔者注：SRI International 是一家独立的非营利性研究机构，总部位于加利福尼亚州门洛帕克市。），真的开发起利用相机进行视觉识别和导航的机器人ShaKey！

记得我告诉Bert自己也是从RPI的机器人与自动化实验室毕业，那时RPI智能机器人队伍庞大，研究正值高峰，位于世界主要机器人研发机构之列，并且在导师George N. Saridis教授的带领下，成立了NASA的空间探索智能机器人系统中心(CIRSSE)，还创办了IEEE 机器人与自动化学会(RAS)，他感慨当年自己在RPI时，既无自动化，也无机器人和AI，就连计算机课程都没有。其实当年MIT也没有这些，Bert和Danny的AI博士学位还是从数学系得到的。

邀请完两位前辈，我自己如何写却成了问题。Danny和Bert都与Marvin有很长的交往和很深的渊源，一致认为他是一个开放、真诚、友好、幽默、具有卓越创造性的人物。我虽有幸同Marvin有过几次个人交往，至少一次在物理世界，两次在Cyberspace：25年前去MIT面试机器人Assistant Professor职位时的会面，6年前因他入选“人工智能名人堂”试图举办新闻会议和4年前因他的学生、自己的前辈和朋友Dave Waltz去世的两次邮件，但除此之外，并无任何其他的感性认识。而且，对于Minsky的学术思想，我的看法和认识也比较复杂，虽然越来越赞成并获益于其观点和概念，但仍然还在一个过程中，至今还没有完全定型。 

△

2012年，时任IEEE IS杂志主编王飞跃提议建立“人工智能名人堂”

虽然如此，在我眼里Minsky是一位真正意义上的科学思想家，而且其思想的深度与原始性有时远在许多人的理解范围之外，由此受到质疑并引起争议。

对此我深有体会：上世纪八十年代中期，当我正挣扎着完成自己关于智能机的组织与协调理论的博士论文时，Minsky发表了他著名的《The Society of Mind》，此书曾给我很大的希望，以为真找到通向智能机的“金光大道”了。

△

1986年，Minsky出版了他第一本面向大众也是最有影响的专著《The Society of Mind》，本应立即引导人工智能走向新世界。但这一年，神经元网络起死回生，重新崛起，客观上延缓了Minsky思想的传播。但近二十年，人工智能大体上还是沿着Minsky的特定领域代理(Agent)交互的思路发展。

但还没有略读完，就意识到此路对一个刚入门的研究生几乎是不可能走通的。实验室有的同学甚至声称：就是你给Minsky的Agents加上再漂亮的数学公式和具体的逻辑程序，答辩委员会的教授们也不会通过你的论文。

RPI是一个工程思维主导的地方，客气的教授认为他的想法是“decent speculation（不错的臆想）”或者“too philosophical（太哲学了）”，有的直接就认为是“almost nothing to do with real AI（这个真正的AI没啥关系）”。

毕业之后，我才再开始重新认识Minsky关于Agent的想法，在NASA的火星移动机器人Spiderobot项目中进行尝试，这还是在MIT的R. Brook教授关于机器人行为编程控制的Situated AI方法有了一些成功之后。九十年代中末，当自己开始基于代理控制(Agent-based Control, ABC)方法研究时，才真正感受到当时Minsky之Agent思想的大胆与深刻。

今天，计算与AI技术的处境已发生了翻天覆地的变化，这一切似乎是“水到渠成”，而且，个人感觉，最近二十年上下AI主要都是沿Minsky的Agent思路发展的。同时，自己关于默顿系统、社会计算、基于虚实二相性的平行系统之平行智能的工作似乎也已进入Minsky三十年前所设想的人工智能新世界。

这恰如Minsky所说的：“ You don't understand anything until you learn it more than one way”！(对于一个事物，除非从多个途径学习，否则你什么也不知道。)

除了Minsky发表的《The Society of Mind》，1986年还出版了人工智能和认知科学发展史上的另一部与Minsky非常相关的里程碑式著作，就是PDP：《Parallel Distributed Processing》。这使我有幸，更准确地讲是个人的不幸，同时读了三本书：

• Nilsson于1965年发表的《Learning Machines》；

• Minsky和Seymour Papert（我一直戏称他为See more Papers教授，是一位自己十分敬重的智慧教育学家和知识机器的倡导者）于1969年发表的《Perceptrons》；

• 和Rumelhart、McClelland及PDP研究小组编著的PDP，外加Rosenblatt（主要是Perceptron），Widrow（主要是Adaline），机器学习和自己导师的Learning Control等方面的论文。

Nilsson的书给出了当时学习机器和神经元网络的最全面的数学分析，但除了引理定理外几乎没有例子，特别是数值例子，使其成为“阳春白雪”，曲高和寡，由此失去了在工程师中传播推广神经元网络的机会。

Minsky和Papert用一个再简单不过的XOR逻辑算子差不多“判”了神经元网络的“死刑”，使其十年多几乎无人问津，直接导致了人工智能的第二个“冬天”。

而就在1986年，当Minsky的《The Society of Mind》欲在人工智能引发另一次浪潮或更学术地讲一次Paradigm Shift之际，PDP中基于Back-Propagation的多层神经元网络揭掉了Minsky和Papert贴在神经元网络上的“死咒”，使其“起死回生”，也使Minsky的声誉有所损失。

我相信这是为什么Agent和Minsky的其他学术思想没有更快兴起的一个重要原因，也是为什么后来Brook和Agent的倡导者没有更明确更有力地阐明Minsky的原始贡献的重要原因。

然而，在当时我更倾向于Minsky和Papert在《Perceptrons》里对神经元网络NN的评论，认为其基本模元有局限性和致命的缺陷，合起来的网络说不定会有这样或那样的问题，至少计算上不是很有效。特别是读McCulloch-Pitts神经元模型原文时，觉得内容与题目(A Logical Calculus of Ideas Immanent in Nervous Activity)相差太远，几乎有读Boole的《The Laws of Thought》的感觉：看懂的太简单，看不懂的觉得根本就是文学思想，不是Hard Science。

△

正在这段时间，导师的另一位学生MM，一位IBM的在职工程师，其关于Boltzmann网络的工作自己觉得明明是错的，但导师仍然支持，后来论文也发表了，更使我对NN（NeuralNets）的研究产生了偏见。而且，Minsky和Papert的书使得人工智能研究的大方向稳定在以推理和逻辑编程为主的“符号”系统之上，而不是以NN为代表的计算智能方法，对于刚从计算力学“逃出”不久的我而言，当然心里更愿意接受。

一直到毕业后，我才开始改变自己的认识，九十年代初开始了关于Neuro-Fuzzy Network (NFN)方面的工作。 

回想起来，NN（NeuralNets）乃至计算智能之所以一直游离在人工智能的主流之外，与Minsky有相当的关系。这也给了IEEE创办NN Council，还有后来的NN学会，即改名后的计算智能学会（CIS）的机会。而且，后来以NN和SVM为主要起步方法的机器学习理论在广泛应用之后仍长期不被主流的人工智能接受，似乎也与Minsky的影响有关。好在今天机器学习，特别是深度学习“悍然”已成为人工智能的主力，人工智能和计算智能也逐渐迈向合二为一。

其实NN的“灾难”并不能真正地怪罪于Minsky。在《Perceptrons》和Minsky等人于1971年撰写的关于MAC项目的进展报告中，Minsky等把对NN的学术指责非常严格地限制于单层和“线性阈值”网络，而不是后来的多层和“Sigmoid非线性阈值”网络。但他们的“文学性”描述却十分清楚地告诉大家：尽管他们不能证明多层NN基本上是无用的，但十分自信地认为这些网络作为计算学习器件是不够的。

科学是科学，文学是文学，大家忘了McCulloch和Pitts的原始文章已“证明”NN可实现所有的布尔逻辑算子，当然包括XOR，Nilsson的《LearningMachines》第6章也证明了多层网络Layered Machines的一般性能力，结果还是让Minsky和Papert一个小小的XOR反例就使NN尘封十余年，陷人工智能于“冬天”的境地。

要怪只能怪自己不动脑，盲从，把文学当科学。这点反过来回应了Minsky所擅长的谜语式警句：“In science, one can learn the most by studying what seems the least”。(在科学里，研究似乎最不起眼东西，往往可以学到最重要的。) 

唯一让自己感觉不适的是，NN重生以后，Minsky和Papert声称他们过去无意也没有把他们在《Perceptrons》中关于XOR的结论放大到整个NN，是别人误解了其真正意图。换言之，有人愿意将其文学语言当成科学描述，怪不得他们。我在理性上认同Minsky和Papert的说法，但《Perceptrons》明明白白往“死”里攻击当时风头正健的Perceptron，其提出者正是Minsky的高中校友和学术上的同事加“朋友”Frank Rosenblatt，就连他们书的封面也以象征Perceptron无能与致命缺陷的双螺旋连通图（而且还是用了令人尴尬的色彩）示之，感性上我很难觉得他们两人是无辜的。

别忘了，Minsky很自豪他在自己的博士论文中提出了世界上第一个随机连接的神经元网络模型，同时认为人脑就是简单而有局限的元件组成的“人肉机器(MeatMachines)”。而且，Minsky在此两年之前出版的一本关于形式语言和计算基础理论的大学教科书《Computation: Finite and Infinite Machines》中，还与众不同地引入了神经元模型，大力提倡利用神经元网络构造理论计算机。令人宽慰的是，1971年Rosenblatt正当英年死于意外事故（也有人说是自杀）之后，Minsky和Papert将修正后的新版《Perceptrons》献给了Frank Rosenblatt。

△

Minsky1967年出版的唯一一本形式语言与计算理论大学教本，首次引入了神经元模型和基于神经元网络的理论计算机，并对华裔哲学家、逻辑学家和人工智能的开拓者王浩的工作进行介绍。

说起明斯基的《Computation》，还有几句相关的题外话。我跟付导师（Minor Advisor) Robert McNaughton (罗伯特·麦柯纳赫顿）学习形式语言时，直接上研究生的课。因无计算机专业的大学背景，罗伯特推荐了《Computation》自修补课。读后感觉这是一本深而易读的优秀教材，特别是明斯基关于Post定理的证明。独出心裁、简明清晰、令人印象深刻。而且，作为一个刚到美国的中国留学生，很高兴在书中看到对首位在计算机和人工智能领域里开拓的王浩教授工作的高度评价。书中证明了“Wang Tiles（王氏瓷片）”与图灵通用机等价，同样具有不可决定性（Undecidability）。

王浩是位著名的哲学家、逻辑学家和计算机科学家，在哈佛哲学家奎因的名下完成博士学位(尽管后来王浩对奎因有许多批评)，也是罗伯特的师兄和研究数理逻辑的引路人。王浩晚年与 Godel 交好，成立Godel 学会，致力于研究 Godel 哲学思想。忘了是1989还是1990年，我当面向王浩提起此事，才知道“王氏瓷片”是王浩自己的一位博士生首先命名的，并证明了其不可决定性，而明斯基是这位学生博士答辩委员会的成员，所以非常了解这方面的工作，后来证明了“王氏瓷片”与图灵机的等价性(此事我一直不明白，但不是此处讨论的问题)。更有趣的是，当我同王浩讲起系里有位教授人工智能的老师认为明斯基是位“文学家、作家、半个哲学家”时，王浩回应道：一、显然这位教授没有看过明斯基的“小说”; 二、明斯基不是“半个哲学家”，至少是“一个半哲学家"！

静想一下，人工智能史上的这一“事件”有着令人“哭笑不得”的效果。Nilsson是AI中力推逻辑推理的“符号”学派（所谓“纯净派”）之主力。对计算智能方法不能说有“敌视”，但起码支持不力，可他的第一本专著《Learning Machines》本来应兴起计算智能与机器学习的时代之“火”，却无疾而终，或者说后来被Minsky和Papert扑灭了。Minsky是AI的认知计算和“玄妙”学派（广义的“邋遢”派）之开山，没想到其《Perceptrons》却狙击了计算智能十余年，反过来成就了“符号”学派。这段历史，符合其《The Society of Mind》的框架，活生生的一幕默顿系统动力学之戏，值得社会学家和历史学家仔细地去研究。

我隐约地感觉当年第一位AI之“父”John McCarthy离开MIT去斯坦福创立新的人工智能实验室与Minsky有关。按McCarthy的说法，是他召集了1956年的Dartmouth会议，提出了“人工智能”一词，Minsky只是应邀参会。接着，McCarthy发明了LISP语言，理所当然成了现代AI“符号”学派的开山鼻祖。而Minsky一直自称也被公认是AI的“认知科学家”，更倾向于Cybernetics创始人Norbert Wiener教授关于人工智能的想法：连续逻辑、连续信号或连续数学为主，而非离散逻辑、离散符号或离散数学。实际上，在Dartmouth的夏季会议之前，Wiener过去的学生和同事已经于同年的春天在MIT校园里组织了一次关于认知科学的研讨会。此会是否对接下来夏天的人工智能研讨有影响，我目前无法知道，但无论如何，背后都有Wiener的影响。

而且，Wiener与McCulloch及Pitts的决裂，断送了当时计算方法引导AI发展的趋势，客观上为后来符号方法在AI的兴起创造了机会。但MAC项目中AI部分，主导者却成了Minsky，原因或许与项目资助人DARPA的Licklider博士的兴趣有关，其心理学和通信的背景，会更倾向于Wiener所指明的方向，结果导致McCarthy的离开，使斯坦福成为MIT MAC Project的竞争对手和“纯净派”的大本营。

△

试图用逻辑学救赎世界的人：沃尔特-皮茨（Walter Pitts）从街头崛起，进入麻省理工学院，却无法摆脱自己。[参见文章 https://nautil.us/the-man-who-tried-to-redeem-the-world-with-logic-235253/ ]

当然这一切都是我的猜想，目前并无任何材料和考证。

年初我去Oregon拜访退休的Nilsson教授，还谈起他的《Learning Machines》和Minsky的《The Society of Mind》，希望有时间回头细读，结果得到他购赠的一本来自英国Glasgow大学图书馆的1965年原版《Learning Machines》。没想到回到北京后，办公室送来一份湛庐文化董寰总编的礼物，Minsky《The Emotion Machine》的中译本《情感机器》。我曾略读过英文版，但当时整体上并不认同其思路，也不相信其中的一些结论，正要把中文本带在出差的路上细读的时候，传来了Minsky去世的消息。两本书，一个不幸的消息，加上谷歌AlphaGo算法大胜欧洲围棋冠军的《自然》论文和随之而来关于深度学习及“人类vs人工智能”的讨论热浪，逼着自己花时间去读相关论文，让我顿然失去了细读《情感机器》的心情。或许，还是先看看Nilsson的小册子《Understanding Belief》，理解相信到底为何吧。

△

2006年Minsky完成的《情感机器》，至今毁誉参半，没有被人充分理解，形成共识。书一出版，就因其中压根沒有提及生物神经情感专家(也是歌唱家、作曲家)LeDoux的工作和专著《情感大脑》而受指责。Minsky在书中认为意识、情感、推理都是思维，从而也就是智能之不同的方式而已。意识不是单一的"自我(Self)"，而是不同心理过程所组成的"分布式云(Decentralized Cloud)"。而且，应该把大脑看成血肉构成的交换机，实现人工智能的途径就是如何使我们的理智(Mind)更像思维机器，而不是使机器更像人类。

不管Belief（信念）为何，在一件事上我必须表明对Minsky教授的敬佩，就是他从不与自己的学生合作写文章，但竭力为他们创造自由良好的成长环境，甚至连自己的家都成了学生们随时可以来聊天吃饭的“俱乐部”。Danny还记得Minsky请他去MIT的教授餐厅吃饭，说见一个人，他还以为也是一个学生，结果竟是大名鼎鼎的Wiener教授。同任IS杂志主编(我的前任)，也是《Science》杂志在信息领域的唯一编委，RPI计算机教授James Hendler也讲了类似的故事: 他做学生参加会议时，Minsky请他一起吃饭，并说还请了另外一人，希望他不要失望，到后令Jim大吃一惊，原来是人工智能的另一位“开山之父”，图灵奖和经济诺贝尔奖得主Herbert Simon教授。Minsky对学生的扶持与风格，可见一斑。

随思乱笔，零散的回忆，算是自己对Minsky这位真正的科学与技术之思想家的怀念与致敬！

△

“AI范儿的A𝕀²·ℙarad𝕚gm商业范式v4.0示意图”

说明：本文在公众号里标注为“原创”仅为防止未经许可的转发，本文引用内容的版权属于原作者和原媒体。

-Dialectic of AI: connectionism vs symbolism

https://medium.com/synthetic-intelligence/dialectic-of-ai-connectionism-vs-symbolism-d8b9888d4268

-Neurons spike back

https://mazieres.gitlab.io/neurons-spike-back/index.htm

-王飞跃：一位真正的科学思想家：纪念人工智能之父Marvin Minsky教授

那些prompt了我的，

是否也prompt了你...