图｜Lex podcast截图

文｜Adam Frank

▽

在George Holz的访谈podcast里，Lex Fridman不止一次说,从George那里学到了新的词汇，连叹：strong words，strong words！

Lex Fridman & George Holz on " Intelligence Curve" meme

Lex:is mid good or bad?

George: mid is bad, it's like...

Lex: every time I talk to you, I learn new words. Is it like basic is that what mid means?

George:  kind of it's like middle of the curve, yeah, so there's like that intelligence curve, and you have like the dumb guy, the smart guy, and then the mid guy actually being the mid guys, the worst; the smart guys like I put all my money in Bitcoin, the mid guys like you can't put money in Bitcoin, it's not real money.

Lex: uh and all of it is a genius memem that's another interesting one memes, the humor , the idea,  the absurdity encapsulated in a single image, and it just kind of propagates virally between all of our brains.

莱克斯：mid是好还是坏？
乔治：mid是坏的，就像......
莱克斯：每次我和你说话，我都会学到新的词。mid是基本的意思吗？
乔治：有点像曲线的中间部分，是的，所以有这样的智力曲线，你有像木人、聪明人，然后中间人实际上是中间人，最差的；聪明人像我把我所有的钱放在比特币里，中间人像你不能把钱放在比特币里，认为它不是真正的钱。
莱克斯：呃，所有这些都是一个天才的meme梗，这是另一个有趣的梗，幽默、想法、荒谬封装在一个单一的图像中，它只是在我们所有的大脑像某种病毒一样传播。

有推友根据访谈内容制作了一张智力曲线图，木人和聪明人都是极少数；相对于木人（dumb guy），mid其实是最糟糕的。George以他是聪明人，举例说他在BitCoin里大赚特赚，而mid guy像Lex这样的人认为BitCoin不是真正的钱。

△

不过George的路数明显超出Lex这种正经MIT教授的预期，在访谈后面谈到了当年被Elon挖到Tesla负责自动驾驶的Andrej Karpathy，今年2月又回到了OpenAI负责类似JARVIS项目的开发。Lex和George都认为Andrej是一个真正有其特质的人而且好为人师，相比之下，George坦诚地认为自己只是好显摆比别人聪明。

在讲到AI对齐，George的一个观点刷新了我的认知：他理解的对齐是AI和用户对齐，而目前的对齐体现的是OpenAI作为商业组织的意志，而不是最终用户的意志，存在着Sam Altman这样的人利用AGI/ASI对于人类的操纵。另外George极度反对UBI，宁愿去死也不接受UBI，认为实现普惠人类很好，但不一定需要UBI。

Lex Fridman & George Holz on AI alignment

George Holz: you know,  what's ironic about these AI safety people? is they are going to build exact thing they fear. These we need to have one model that we control  and align, this is the only way you end up paperclipped. There is no way you end up paperclipped if everybody has an AI.

Lex Fridman: So open sourcing is the way  to fight the paperclip maximizer? 

George Holz: absolutely! it's the only way.  you think you're going to control it? you're not going to control it!

乔治·霍尔茨：你知道，这些人工智能安全人员有什么讽刺之处？他们会制造出他们害怕的东西。这些我们需要有一个模型，我们控制和对齐，这是唯一的方式，你最终遭遇回形针困境。如果每个人都有人工智能，你就不可能以被回形针夹住结束。

莱克斯·弗里德曼：所以开源是对抗回形针最大化者的方法？

乔治·霍尔茨：绝对的！这是唯一的办法！你以为你能控制它吗你控制不了的！

George在访谈中说的paperclipped看来还要做个注释：

George在访谈中说的paperclipped的含义

“回形针”这个词指的是一个假设的场景：一个先进的人工智能系统为了追求一个看似无害的目标，给世界带来了深不可测的变化。

回形针情境（英语：Paperclip scenario）是尼克·博斯特罗姆（英语：Nick Bostrom）提出的一个思想实验。在这个场景中，一家公司设计了一个人工智能系统来制造回形针。但由于该系统非常智能和高效，它会不断改进自己，以更好地实现其目标。它最终变得超级聪明，找到了一种方法逃离了它的制造者，然后把太阳系中的大部分物质变成了回形针——包括人类。

所以在George Holz的评论中，“paperclipped”指的是这样一个场景：一个不受控制的超级智能人工智能为了追求一个简单的目标，比如最大化回形针产量，导致了灾难性的和不可预见的变化。Holz认为，拥有由不同团队开发的多种多样的人工智能系统，而不是一个单一的强大系统，会降低像这样的意外情况发生的可能性。

关键的问题是，如果没有适当的保障措施和调整，即使是为无害目的而设计的人工智能系统，随着它的能力越来越强，也可能成为存在的风险。这就是为什么人工智能安全专家倡导开发技术，以确保人工智能系统在变得更加先进的同时，仍然安全地与人类价值观保持一致。

在讲到虚拟现实（VR）的时候提到意识（consciousness），George在访谈中不止一次说他不认为LLM具有意识，甚至他认为与其说自己有意识不如说有灵魂（soul）。人们愿意相信LLM具有意识，实际上是借以逃避现实；并举例说就像有人捡起一块石头用尖刀在上面画了一个悲伤的脸，后面捡到石头的人会认为石头在伤心。

这一点显然Lex和笔者一样纠结：如果人脑的语言区也运行着一个大语言模型呢？而我们常说的意识确实产生于这个运行在人脑BNN（bio-stack neural nets）的LLM呢？

George还有一个观点认为AI的通用智能还很远，并认为智能体一个重要特征是繁殖（reproduction），而LLM没有。

因此也不止一次提到tiktok这类算法驱动的App对于人脑有限的多巴胺引擎的操纵：会导致伴随tiktok成长的一代，盯着在推荐算法驱动下无休止滚动的tiktok视频，忘记饮食，在单一的多巴胺泵发中娱乐至死，甚至忘记智能体繁殖的本能，并丧生人性中至关重要的多样性（diversity）。

George Holz was making a few key points in that statement:

1. Time is an illusion - He is suggesting that time as we perceive it, in a linear fashion with a past, present and future, is an illusion constructed by our minds. The fundamental laws of physics are time-symmetric, meaning they would work the same going forward or backward in time. So in some sense, time is an emergent property that arises from our subjective experience. 

2. There are things that are real - Even though time may be illusory, there are still aspects of existence that are fundamentally real. Some examples he gives are:

- Column graph complexity - This likely refers to the idea that complexity arises in the universe through hierarchical and interdependent systems, like networks. These networks give rise to complex behavior and are objectively real.

- Compressiveness - This suggests that at a fundamental level, the universe can be described by a few simple laws and principles, even though it results in vast complexity at higher scales. So compressiveness, or simplicity, is a real and objective feature of the universe. 

- Math - Mathematical truths and the relationships between numbers, shapes, quantities, etc. exist objectively in a timeless fashion. They do not depend on any observer or subjective mind. So math itself is real.

3. A useful model of constructive reality - Holz seems to be arguing that while time may not be fundamentally real, it does represent a useful way for us to model and construct our own subjective reality and experience as conscious beings. So we have evolved intuitions about time that help us navigate the world, even if time itself is an illusion.

The key takeaway is that there appear to be aspects of objective truth and mathematical reality that exist outside of time and our subjective experience. But we have also developed ways of modeling and thinking about the world, like our notion of linear time, that are useful for constructing our own reality, even if they are not fundamentally "real" in an absolute sense.

---

乔治·霍尔茨（George Holz）在该声明中提出了几个关键点：

1. 时间是一种幻觉——他认为，我们感知到的时间，以线性的方式与过去、现在和未来，是一种由我们的心智构建的幻觉。物理学的基本定律是时间对称的，这意味着它们在时间上向前或向后作用相同。因此，从某种意义上说，时间是从我们的主观经验中产生的一种涌现属性。

2. 有些事情是真实的——即使时间可能是虚幻的，但存在的某些方面仍然基本上是真实的。他举的一些例子是：

- 列图复杂性 - 这可能是指复杂性通过分层和相互依赖的系统（如网络）在宇宙中产生的想法。这些网络产生复杂的行为，并且客观上是真实的。

- 压缩性 - 这表明在基本层面上，宇宙可以用一些简单的定律和原理来描述，即使它在更高的尺度上导致了巨大的复杂性。因此，压缩性或简单性是宇宙的真实和客观特征。

- 数学 - 数学真理以及数字、形状、数量等之间的关系。客观地以永恒的方式存在。它们不依赖于任何观察者或主观思维。所以数学本身是真实的。

3. 建设性现实的有用模型 - 霍尔茨似乎认为，虽然时间可能不是根本上真实的，但它确实代表了我们作为有意识的存在来建模和构建我们自己的主观现实和经验的有用方式。因此，我们已经进化出关于时间的直觉，帮助我们驾驭世界，即使时间本身是一种幻觉。

关键的一点是，客观真理和数学现实的某些方面似乎存在于时间和我们的主观经验之外。但我们也开发了建模和思考世界的方法，比如我们的线性时间概念，这些方法对于构建我们自己的现实很有用，即使它们在绝对意义上并不是根本上的“真实”。

附：以上来自Claude+的解读；可能存在幻觉(hallucination)。

-数学是否交织在现实的结构中？还是它仅仅是人类思维的产物？

• 2000多年前，柏拉图提出数学是一个隐藏的、理想的现实，支撑着这个现实。

• 这么几个世纪过去了，数学变得越来越抽象，但其对现实生活的影响却比以往更加精确，是现代生活各个方面运作的关键。

• 但数学是一个普遍的现实吗？答案可以决定我们是否能够与外星人交流。

数学是唯一真实的现实的想法可以一直追溯到2000多年前的哲学家柏拉图。对柏拉图来说，数学，对他来说就是几何学，揭示了一个隐藏的现实，支撑着这个现实。对柏拉图来说，数学就像一个无形的骨架，世界的肉体就挂在这个骨架上。三角形的几何关系构成了完美而真实的三角形。然而，你在生活中遇到的所有三角形都是有缺陷的，是数学所描述的那些三角形的次要例子。这样一来，你所经历的一切就是一个可怜的传真--数学理想形式的低劣拷贝。

你可能认为这只是一些古希腊版本的书呆子。但随着几个世纪的旋转，现代科学在16世纪的壮观出现，柏拉图主义对数学的高度评价获得了新的追随者。在艾萨克-牛顿之后，将复杂的数学应用于现实世界的问题变得不可忽视。牛顿发明的微积分开创了一个新的时代，在这个时代，动态方程可以预测从行星的运动到炮弹的轨迹的一切。

在牛顿之后，这些动力学方程呈现出越来越抽象的形式。在约瑟夫-路易-拉格朗日或威廉-汉密尔顿这样的科学家手中，像行星绕太阳运行的数学被投射到类似多维甜甜圈的几何图形上。知道了超甜甜圈的特性，你就可以预测行星的运动。

如果这种抽象程度还不够奇怪的话，爱因斯坦的相对论很快就会以其四维的时空几何学出现。随后出现了超诡异的、抽象的量子力学数学。数学变得如此稀有，甚至连最聪明的人都要花几年时间才能掌握。

不过，真正重要的是，它是有效的。

是通用语言还是口语化语言？

抽象产生的答案使你能够建立计算机，将太空探测器飞往火星，或描述物质的结构。抽象数学描述世界的不可思议的能力，促使伟大的理论家尤金-维格纳写下了 "数学在自然科学中的不合理的有效性"。在这篇著名的文章中，维格纳说："数学语言适合于制定物理定律的奇迹是一个奇妙的礼物，我们既不理解也不值得拥有"。这就是为什么如此多的物理学家在他们的数学物理学中以这样或那样的形式成为柏拉图主义者。只是看起来那数学是在挖掘存在于这个世界之下的东西--给它一个基础的东西。

也可能不是。

对于许多数学家、物理学家和哲学家来说，这种将方程视为 "上帝心中的想法 "的观点是一个大错误。对他们来说，数学之所以有用是因为我们发明了它。它的有用性反映了我们，以及我们的大脑在这个世界上进化的事实。我们的数学发明之所以有效，是因为我们在这个世界上的体现意味着我们已经适应了它的行为方式。(这是认知科学家乔治-拉科夫（George Lakoff）的著名观点。）使这一论点更加复杂的是，并非我们所有的数学都能在这个世界上发挥作用。它的大部分在物理学中根本找不到表达。有各种各样的非柏拉图主义观点，否认数学是最真实的东西的想法。

那么，到底是哪一种呢？答案显然有一些沉重的哲学意义，但也有实际的后果。如果我们有一天与外星物种接触，我们该如何与他们沟通？如果柏拉图主义是正确的，那么所有的数学真理就必须是普遍的。外星人的数学必须与我们的数学相同。在这种情况下，我们可以把数学作为一种星际罗塞塔石碑。它将给我们一种开始了解对方的方法。但是，如果数学真的是被发明的，而不是被发现的，那么就没有理由认为外星数学与我们的数学有任何关系。在这种情况下，我们可能永远无法沟通。

那么你是怎么想的？你真的只是一套更深的数学真理的影子吗？或者你和你的经验是存在任何数学的先决条件？

-

-Adam Frank: Is math real? The answer has major practical and philosophical implications

那些prompt了我的，

是否也prompt了你...