图｜视频截图

▽

Sam Altman: "the way this works is we're going to tell you it's totally hopeless to compete with us on training foundation models you shouldn't try, and it's your job to like try anyway. And I believe both of those things. I think it is pretty hopeless"

山姆-奥特曼："我们打算告诉你们的，以一种务实可行的方式，在训练基础模型上与我们竞争，是完全没有希望的，你们不应该尝试，如果你们实在愿意去尝试那是你们的事。而我相信印度AI在这两个方面（笔者注：发展GPT大模型以及相应的团队人才），我认为都是非常无望的"

△

应该说上次在宣言里还说的比较含蓄，而且确实貌似Altman认为也只有OpenAI有资格谈超级人工智能吧，而这次面向一众“阿三”，而且从视频上看是Sam一个人，这次全球巡访中亚之行在以色列时同行的Ilya也不在场，看来是彻底放开了。

不知道台下一众印度科技及AI届的大佬面对如此的表述，心中是何滋味？

笔者更不敢想象，要是Altman这次全球巡访也包括中国大陆又会是怎样的一种情景......

▩Zuckerberg在Lex的访谈中说了啥

Mark Zuckerberg: 

"I mean, there‘s been folks who are getting to run  on local devices, right so if you are an individual who just wants to experiment with this at home, you probably don't have a large budget to get access to like a larget mount of cloud compute. So getting it to run on your local laptop, is pretty good, right? And pretty revelant. And there were things like, yeah, llama.cpp ,  reimplemented it more efficiently. So now even when we now run our own version of it, we can do it on way less compute and it is just way more efficient, save a lot of money for everyone who uses this. So that is good. "

"The main thing that we focus on building here, a lot of product experiences to help people connect and express themselvies. So we're going to, I've talked about a bunch of this stuff, but you'll have an assistant thant you can talk to in WhatApp, I think in the future, every creator will have kind of AI agent that can kind of act on their behalf, that their fans can talk to I want to get to the point where every small business basically has an AI agent that people can talk to for, you know to do commerce and customer support and things like that. So there are going to be all these different things. And LLaMA, or the language model underlying this, is basically going to be the engine that powers that."

马克-扎克伯格：

"我意思是，现在有一些人尝试在本地设备上运行, 好, 所以，如果你是一个只想在家里试一试这个的个人用户，你可能没有很多预算去获得大量的云计算资源。因此，在本地笔记本电脑上能运行它是相当不错的，对吧？而且非常的切身相关。还有一些事情，比如，像llama CPP，它以更高效的方式重新实现了LLaMA开源大语言模型。所以现在即使Meta运行我们自己的版本，我们也可以在更少的计算资源上完成；llama.cpp就是更高效，为用它的每个人节省了很多钱。所以这很好。"

"在Meta这里重点关注的是如何使用llama提升更多产品体验来帮助人们联系和表达自己。所以我们打算，我已经谈论了很多这方面的内容，你会有一个可以在WhatsApp中与之对话的助手，我认为将来，每个创作者都会有一个可以代表他们为行事的AI代理，他们的粉丝可以与之交谈，我希望每个小企业基本上都有一个AI代理，人们可以与之交谈，像你所知道的，进行类似商业和客户支持等事宜。所以会有很多这样的东西出现，而LLaMA，或者说是这个底层的AI大语言模型，基本上将是支持这一切的引擎。"

llama.cpp的主要目标是在MacBook上使用4位整数量化运行LLaMA模型

-无依赖性的普通C/C++实现
-苹果芯片的第一等公民--通过ARM NEON、加速器和金属框架进行优化
-支持x86架构的AVX、AVX2和AVX512
-混合F16/F32精度
-支持4位、5位和8位整数量
-在BLAS中支持OpenBLAS/Apple BLAS/ARM Performance Lib/ATLAS/BLIS/Intel MKL/NVHPC/ACML/SCSL/SGIMATH等
-cuBLAS和CLBlast支持

llama.cpp的最初实现是在一个晚上hack出来的。从那时起，由于许多人的贡献，这个项目有了很大的改进。这个项目是以教育为目的，并作为开发ggml库新功能的主要试验场（playgound）。

△

▩llama.cpp和硅谷天使投资组合Nat&DG的故事

llama.cpp的作者(@ggerganov)最近刚刚被硅谷天使投资组合Nat和DG看中并投资。Nat和DG分别曾经是微软（github项目）和苹果（AI项目）的高管，目前都在做天使投资，其中DG投中多个知名项目，而Nat技术背景更深厚，最近还基于类似llama.cpp的开源模型搞了个nat.dev（https://github.com/nat/openplayground），一个开源LLMs的试验场（playgound）。

从上图可以看出，DG投资真是很毒。其中Figma去年被adobe 200亿美金收购，目前在与firefly做整合，未来生成式AI也许可以做到一键生成一个App。

关于DG和Nat，在之前苹果vision pro发布时一篇分析Apple人工智能发展路径的文章里也有提到：

Vision Pro中参透Apple人工智能发展路径-AI范儿深度解读

△

△

笔者当前的思考认为，

AI之路千条万条，基于GPT原生创业方向目前就三类（由之前的两类升级而来）：

▩大模型炼丹(pre-training)-基础大语言模型（foundation LLMs)，语言有超模态的地位，是通向AGI的必经之路，和OpenAI竞争或用于企业本地部署场景；（这一点以Yann LeCun为首的一直有不同意见，在5/9北京智源大会上演讲就以《走向能够学习、推理和规划的大模型》为体，有机会笔者也可以总结一下Yann和Ilya一直以来的分歧，应该也挺有意思）

▩大模型挖矿(prompting)-偏大模型应用场景，这个就多了，我个人比较看好MJ或characterai的GPT原生模式。其它B端对于现有业务AI增强改善只是有阶段性价值空间。为什么说是阶段性价值空间呢，因为大炼丹会导致模型无处不在，对物理世界的改造范式发生了革命性变化，会出现完全重构现有B端业务的新业务模式。可以类比想象：工业化出现后，农业就不再是主要生产场景。

还有就是基于开源LLM的Model Anywhere & Anydevices方向：

▩大模型蒸馏(distilling)-蒸馏出的小模型可以服务于终端智能或作为个人助理模型（in-device inference & personal agent models）：基于开源模型，类似llma.cpp的in-device inference场景，以及线上的数字分身产品等原生方向。按照Hinton老爷子的说法，大模型蒸馏类似于人类大学教育知识从教授向学生传授。

| Lex Fridman Podcast #383 https://youtu.be/Ff4fRgnuFgQ

-Ben Thompson: An Interview With Daniel Gross and Nat Friedman about the Democratization of AI

https://stratechery.com/2022/an-interview-with-daniel-gross-and-nat-friedman-about-the-democratization-of-ai/

那些prompt了我的，

是否也prompt了你...