访谈系列·E01S01｜AI大神Ilya访谈揭秘GPT-4成功背后的关键，20年如一日的AGI坚守终惊艳世界
图｜汤源
题图
本文作为AI范儿·GPT现象系列研究路径的系列访谈解读文章第一篇-E01S01，介绍了2003-2017年的关键现象，与大家一起了解GPT-4的背景和成功，以及Ilya Sutskever作为GPT-4背后的灵魂人物的故事。
他在2003年多伦多大学读本科时就显示出对深度机器学习的非同凡响的理解，并一直坚信深度神经网络和巨大的数据集可以解决真正困难的机器学习问题。
本系列文章还揭示了GPT-4成功的关键因素，包括深度神经网络、巨大的数据集、更大的模型和计算资源，以及新的训练技术和算法。
如果你对AI的未来和AGI的发展充满好奇，那么本文及系列解读文章一定不容错过！
系列解读一：GPT前言篇（2003-2017）
题记：2003年与2023年的跃迁-20年如一日的AGI机器学习
Ilya Sutskever，中文名伊尔亚·苏茨克维。他是ChatGPT的灵魂人物（首席科学家），题图来自JourneyMatters网站的ChatGPT介绍。
早在2003年，当他还是多伦多大学的本科生时，他就想要加入Geoffrey Hinton教授的深度学习实验室，并展现了对基于神经网络的深度机器学习的非同寻常的理解力，成为ChatGPT的关键人物之一。
在这之前，最近能够找到的有关Ilya的访谈只有Craig Smith的一个远程视频，在那个视频中，Ilya谈到了GPT-4的诞生历程，但相比下面这篇皮衣老黄操刀的现场访谈，缺乏表情和肢体语言的展现，无法完全呈现GPT-4这样的AGI智能体诞生的艰辛、曲折以及幸运与惊喜。
△
本文将解读的视频访谈，发生在ChatGPT推出4个多月后的2023年3月15日，即OpenAI正式推出升级版GPT4的第二天。作为AI军备竞赛的关键，提供GPU芯片的备受瞩目的公司Nvidia的CEO黄仁勋，简短的开场白之后，立即进入主题。
在面对相识多年的厂商和朋友时，Ilya进行了接近一个小时的访谈，剖析了GPT-4诞生过程中二十年如一日的艰辛与欣喜，也从一个侧面显示了他面对机器学习的终极目标——AGI的坚信与坚守。本文解读Ilya在访谈中提到的GPT-4之所以成功的六个关键点。
△
“OpenAI于2016年接受Nvidia捐赠DGX-1”
△
2012年：在还没有GPU的时代，我坚信使用深度和大规模的神经网络可以解决真正的智能问题（难题）
现在回想起来，当时发生的这一切似乎并不重要，但当时Ilya坚信，只要使用足够深的神经网络和足够大的数据集，就一定能够解决真正困难的机器学习问题。
正是Ilya当时对神经网络机器学习方向的执着，使得他能够立即将GPU应用于后来被称为AlexNet的深度神经网络模型中，从而在当时的计算机图像识别问题中实现了突破。在2012年的Imagenet大赛上，伊利亚-苏茨克沃（Ilya Sutskever）和亚历克斯-克里切夫斯基（Alex Krizhevsky）成功地采用了深度神经网络来打破传统的手工设计方案，突破了75%的准确率大关。这个创举最终使得他们赢得了ImageNet竞赛，而他们的系统也因此被命名为AlexNet。
从那时起，图像识别领域焕然一新。在随后的研究中，Sutskever、Krizhevsky和Hinton发表了一篇关于AlexNet的论文，被认为是计算机科学领域里被引用次数最多的论文之一，总共被其他研究人员引用了超过六万次。这篇论文的发表标志着图像识别研究向深度学习的转变，为计算机视觉的发展奠定了基础。
2017-现在，未完待续
附录
💡 A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1～v4范式迭代简介
AI范儿A𝕀²·ℙarad𝕚g𝕞从V1到V4的迭代，是一种全新的尝试，基本是沿着：“从GPT现象·看Prompt本质·找创投应用方向“这样的路径，在“AI范儿”社区一众群友prompt下共创并逐步思考迭代的过程。当前v4.0版本涵盖如下内容：1*整体框架与范式路径：（human level）Intelligence as a Service整体框架，与炼丹、挖矿、化身、具生4原生商业范式迭代路径2*服务路径：模型原生（models native）服务路径与卖铲子（shovels selling）服务路径3*智能发展路径：通用人工智能（AGI）发展路径、面向个人智能伴侣（PIA）发展路径以及硅基原生（Silicon Stack）智能发展路径
范式思维升级：v4版A𝕀²·ℙarad𝕚gm范式框架一个重大升级就是思维范式的变化，研究对象从GPT现象上升到智能现象，同时纳入了和人类及其组织智能对等的硅基原生智能及其生态，甚至在具有某种自主意识的AI智能体“具生”范式里，考虑在world of bits的纯数字世界里，和人类无关的agent形态。对等智能体分别为Human Intelligence Species（含群体组织）与 Silicon Native Entities（含群体生态），区别为human是否in loop。因此对等智能体之间的价值交互可分为：AI对于人类智能的增强； AI对于人类智能的替代； AI智能本体的自主化。
▩炼丹(pre-training) (v1. AIGC) - tokens as a service [～AGI/ASI]
▩挖矿(prompting) (v1. AIGC) - prompts as a service [～GPT agents]
▩化身(fine-tuning) (v2&v4. Models Anywhere&Anyone) - models as a service [～in-devices&on-premises agents]
▩具生(agents) (v3&v4. Promptless) - agents as a service [～world of atoms&bits | human in loop & Silicon Native Entities]△附：A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1-v4范式迭代路径简介版
△
“AI范儿^A𝕀²·ℙarad𝕚gm商业范式v4.0示意图”
进阶阅读
进阶阅读
卡梅隆博士系列E01S01:提示工程-CoT思维链实现LLM推理
卡梅隆博士系列E02S01:提示工程-实用提示工程建议与技巧
卡梅隆博士系列E03S01:提示工程-高级提示工程超越few-shot
卡梅隆博士系列E04S01:提示工程-提示合奏使LLM更可靠
卡梅隆博士系列E01S02:开源LLM的历史-早期
卡梅隆博士系列E02S02:开源LLM的历史-更好的基础模型
卡梅隆博士系列E03S02:开源LLM的历史-化身与对齐
AGI甚至ASI-人类是在盗火还是玩火？
AI商业新范式“智能即服务”解读-A𝕀²·ℙarad𝕚g𝕞^v4
参考
说明：本文在公众号里标注为“原创”仅为防止未经许可的转发，本文引用内容的版权属于原作者和原媒体。
BingChat by Microsoft
Claude+ by Anthropic
https://youtu.be/SjhIlw3Iffs （GPT-4 Creator Ilya Sutskever. @by Eye on AI)
https://youtu.be/ZZ0atq2yYJw (CONFERENCE JENSEN HUANG (NVIDIA) and ILYA SUTSKEVER (OPEN AI).AI TODAY AND VISION OF THE FUTURE. @by Mind Cathedral)
END
扫码加群，
立变AI🍚！
AI范儿读者群
那些prompt了我的，
是否也prompt了你...