当 AI 开始“入侵”人类

闲来无事，我们来幻想一下被AI入侵的世界会是什么样子。

黑客技术有着悠久的历史。人类富有创造力，善于解决问题。我们利用漏洞、操控系统，并以此攫取更大的影响力、权利和财富。迄今为止，黑客行为仅限于人类活动，然而，这种状况不会维持太久。

- 1 -

我认为，终有一天人工智能将发现人类社会、经济和政治系统中的漏洞，并利用这些漏洞迅速、大规模、大范围地入侵人类。在入侵人类之后，AI系统还将入侵其他AI系统，而届时的人类也将间接受害。

可能有些人会觉得我的这番言辞略显夸张，但实际上这些都不是遥不可及的科幻小说。我想说的并不是AI的“奇点”（所谓的“奇点”指的是AI的学习反馈回路变得足够快，并超越人类的理解力）。我想说的也不是智能机器人，或者AI的邪恶意图。实际上，大多数的黑客行为甚至都不需要AI研究上的重大突破。这些入侵行为已经发生了。随着AI变得越来越复杂，我们常常对其的某些行为感到困惑。

人工智能无法像人类一样解决问题。它们关注的解决方案类型比我们更多。它们甚至会触碰一些我们从未考虑过的复杂方案。这就会引发所谓的可解释性问题。现代AI系统本质上形同一个黑匣子。数据从一端输入，而答案从另一端输出。即使是找个程序员来查看代码，可能也无法理解这些系统是如何得出这样结论的。

- 2 -

2015年，一个研究小组通过70万个人收集到了大量的健康与医疗数据，并将这些数据输入到了一个名为Deep Patient的AI系统，他们想测试一下该系统是否可以预测疾病。结果发现，该系统确实可以预测疾病，但是它没有提供诊断依据的解释，研究人员也不明白为何会得出这些结论。医生可以选择相信或无视计算机给出的结果，但这种信任是盲目的。

研究人员也在尝试研发可自我解释的AI，但似乎AI的能力与可解释性之间的关系就像鱼与熊掌，不可兼得。解释是人类拥有的一种认知的快速表达，适合人类做决策的方式。强迫AI做出解释就有可能变成一种附加的约束，影响其决策质量。至少就目前而言，人工智能的透明度越来越低，且越来越难以解释。

- 3 -

另外，AI可以完成有奖励的黑客活动。由于AI不会按照人类的方式解决问题，所以它们总是会在不经意期间发现人类从未想到过的解决方案，有些甚至会颠覆系统的意图。这是因为AI并不会考虑那些对于人类来说理所当然的深层含义、上下文、规范和价值观。AI虽然能够在这种有奖励的黑客活动中达成目标，但这绝不是AI设计者的希望和意图。

以模拟足球比赛为例，人工智能发现，如果将球踢到界外，守门员就不得不将球扔进去，而此刻球门就没有人防守了。还有，在另一项模拟中，AI发现它根本不用带着球全场跑，它只需要将自己身高拔到足够长，然后一跤摔下去，就可以横跨整个场地，跌倒在底线前了。再或者，有一台扫地机器人没有学会不撞到东西，而是学会了向后行驶，因为后方没有传感器告诉它撞到了东西。如果规则中存在问题、不一致性或漏洞，并且这些属性可以得出一个符合规则定义且可接受的解决方案，则AI就会找到这些“黑客行为”。

- 4 -

古希腊神话中有一则著名的点石成金的故事。当酒神狄俄倪索斯许诺弥达斯满足他一个愿望时，弥达斯表示希望拥有点石成金的本领，凡是他触碰到的东西都会立刻变成金子。但很快他就发现，他触碰到的食物、饮料，甚至是他的女儿都变成了金子，而他自己也将被活活饿死。套用到AI系统中，这就是一个规范问题：弥达斯将错误的目标编写到了系统中。

AI就像镇尼（Genie，伊斯兰教对于超自然存在的统称，包括天使、精灵、魔鬼和灵魂等）一样，许愿时，你必须非常谨慎地选择自己的措辞，有时甚至需要咬文嚼字。我们非常清楚这一点，但我们没有办法做到比镇尼更聪明。无论你想要什么，AI始终能够按照出人意料的方式满足你的愿望。AI总是会“曲解”你的愿望。AI系统的目标和愿望都是按照人类的语言和思想规定的。我们永远无法描述所有选项，也无法罗列所有的警告、例外和条款。我们指定的任何目标都不可能是完备的。

尽管人类一般都可以理解上下文，并按照善意行事，但我们没办法为AI指定一个完全的目标，而AI也无法完全理解上下文。

- 5 -

2015年，大众汽车被曝在排放控制测试中作弊。虽然该事件是人类工程师通过在常规计算机上编写的程序来作弊，与AI无关，但这个例子可以说明问题所在。他们对引擎进行了编程，在检测到进行排放控制测试时表现出不同的行为。而且他们的作弊行为持续了很多年，都没有被发现。

如果我要求你设计一款车辆发动机的控制软件，最大化性能，同时仍然可以通过排放控制测试，那么你不可能“无意”地设计出一款作弊软件。但对于AI而言，情况却并非如此。它对目标的理解可能会“超出常规”，因为它没有“常规”的概念。它不会明白大众汽车的解决方案会对他人造成损害，会破坏排放控制测试的目的，而且还违反了法律。除非程序员特意告诉AI不要专门为测试设定目标，否则AI很有可能会提出这种方案。届时程序员会感到满意，会计师也会欣喜若狂。且由于可解释性的问题，没有人会意识到AI采用了这样的方案。虽然，我们会从大众汽车的事件中吸取教训，明确设定目标，避免发生这种特殊情况。但AI还有多少不为我们所知的黑客行为呢？

AI的黑客行为究竟距离我们有多远？AI发明新黑客行为的可能性在很大程度上取决于建模的特定系统。为了让AI优化问题，让它提出一个全新的解决方案，所有的规则都必须按照计算机能够理解的方式表达出来。我们需要建立目标（也就是AI的目标功能），而且AI需要一些反馈，了解效果如何，才能不断改进。

有时，这些工作很简单。比如在国际象棋中，规则、目标和反馈都可以非常准确地制定：赢或者输。除此之外，没有其他上下文添乱。这就是为什么目前大多数目标和奖励黑客行为的示例都来自模拟环境的原因。模拟环境都是人为建造出来的，而且有着重重约束，而且所有的规则都为AI指明了。大多数其他系统固有的歧义最终都会归结到如何防御AI黑客行为的安全问题上。

有趣的是规范明确且几乎完全由数字组成的系统。想一想税务系统：我们有一系列的算法，且有各种输入和输出。还有金融系统，从算法的角度来看，这些系统都相对比较容易处理。

我们可以想象，在AI上加载全世界所有的法律和法规，实时的全球财务信息，以及相关的其他信息，然后给它指定一个“最大利润”的目标，结果会怎样？我猜，AI一定会想出各种新颖的黑客行为。

但是，AI的进步是不连续的，且有违直觉。有些看似简单的事情其实非常困难，而有些看起来很困难的事情实则很简单。不到最后一刻突破，谁都不知道。

- 6 -

如果AI开始入侵人类，那么一切都将改变。它们不会受到与人类一样的约束或限制。它们的入侵行为的速度、规模和范围都会超乎我们的想象。例如，文本生成AI机器人将通过社交媒体，在一夜之间复制出几百万个。它们能够24小时在线处理问题，发送数十亿条消息，将人类实际的在线讨论都冲掉。我们将看到机器人与机器人就某个政治问题展开激烈的讨论。它们会改变我们对于正常行为和他人想法的认知。

AI系统范围的扩大也会导致AI黑客行为的危险增大。如今AI已经能够做出有关人类生活的重要决定，以前我们认为这些决定是人类特有的权利，比如假释、获得银行贷款、考大学或找工作。随着AI系统变得越来越强大，人类社会将放弃越来越多重要的决策权。而这些系统的黑客行为也将更具破坏性。

如果将整个美国的税法都输入到AI，结果会怎样？或者，对于跨国公司而言，将整个世界的税法都输入到AI？它会不会发现你在巴拿马注册船舶是非常聪明的行为？它能够发现多少我们尚不知道的漏洞？几百个？几千个？谁知道呢？

虽然我们的社会系统可以对付黑客行为，但是这些系统都是针对人类黑客开发的，其前提都是人类的速度、规模和范围。美国国税局连几十个新发现的税收漏洞都应付不了，更不用说几千个了。如果AI能够发现意想不到但合法的金融系统黑客行为，那么它就能在瞬间颠覆我们的市场。

- 7 -

虽然黑客技术可能会被人滥用，但同时这些技术也可以成为修补和保护系统的力量。因此，从长远来看，AI黑客行为更有可能成为防御系统，因为我们的软件、税法、财务系统等都可以在生效前打补丁。当然，过渡期是非常危险的，因为我们不得不破坏所有的旧规则。所以说，我们的解决方案必须具有弹性。

我们需要建立弹性的管制结构，能够快速有效地应对黑客行为。如果更新税法需要数年时间，或者出于某种政治原因，而无法修补某个根深蒂固的法规，那么更新本身就毫无意义。这是现代管制的难题，而且这个问题其实与建立信息时代快速且复杂的管制系统并无太大区别。

我希望描述出人类与计算机系统之间的相互作用，以及当计算机开始扮演起人的角色时，带来的固有风险。与AI的黑客行为相比，这是一个更普遍的问题。这也是技术人员和未来主义者关注的问题。虽然通过技术引领我们迈向未来很容易，但是我们必须慎重思考技术在未来整个社会中承担的角色。

在这些AI全面联网，并入侵我们的世界之前，我们必须弄清楚这个问题。

原文链接：https://www.schneier.com/blog/archives/2021/04/when-ais-start-hacking.html

声明：本文由CSDN翻译，转载请注明来源。

视频号视频推荐