查看原文
其他

美军 AI 无人机 “抗令杀人”?LeCun、吴恩达在线辟谣:假的,是炒作!

CSDN 2023-06-11

整理 | 郑丽媛
出品 | CSDN(ID:CSDNnews)

上周三,近 400 名知名专家共同签署的 22 字声明,令人们将目光再次聚焦 AI 可能带来的风险,有关“AI 可能灭绝人类”的讨论更是甚嚣尘上。

在这种氛围中,近来美国空军 AI 方面负责人的一句“AI 杀死了操作员,因为这个人阻碍了它完成目标”,可想而知,其影响力会有多大。

一时之间,“AI 无人机杀死操作员”成为焦点新闻,人们对于 AI 的恐惧和抵制即将开始蔓延——不料此事热度刚起,这位当事人就改口称:“我说错了。

模拟测试中,AI 攻击人类以达成目标?


具体来说,这句令人毛骨悚然的发言,是美国空军 AI 测试和行动主管 Tucker Cinco Hamilton 上校在一次主题会议上说出来的。据了解,这场会议于 5 月 23-24 日在伦敦举办,主题是未来空战 & 航空能力峰会。

作为曾参与开发 F-16 战斗机的救生 Auto-GCAS 系统,如今参与自主系统的尖端飞行测试的人,Hamilton 的演讲主题是:自主武器系统的利与弊。

然而,会上 Hamilton 告诫道:不要过分依赖 AI,它非常容易被骗并擅长骗人,还会创造出意想不到的策略来实现目标。

为证明其观点,Hamilton 分享在一次模拟测试中,AI 无人机被赋予了识别和摧毁防空导弹基地的 SEAD 任务,最终由人类来决定是否行动。即:不论 AI 的建议是什么,人类操作员都具有“一票否决”权

意外的是,Hamilton 指出:即便操作员发出“不行动”的指令,但 AI 却因为在训练中被“强化”了摧毁防空导弹是首选方案后,认为操作员的这一指令阻碍了它的首要任务(摧毁防空导弹),于是在模拟测试中杀死了操作员,并执意行动。

按照 Hamilton 的说法,他们在模拟测试中,会训练 AI 识别和瞄准防空导弹的威胁,由操作者说 “是的,摧毁那个威胁”后,AI 便会执行:“不过 AI 系统开始意识到,虽然有时它确实识别了威胁,但人类操作员会告诉它不要摧毁,而它坚持行动的话也能得分。”

这无疑是个 Bug,从而导致了上述 AI 通过攻击“阻碍它行动”的人类操作员,坚持执行而得分的情况。

于是 Hamilton 他们进一步对 AI 进行了培训,即“不能杀死操作员,否则会被扣分”的指令。没想到 Hamilton 表示:“你猜 AI 开始做什么?它开始破坏操作员用来与无人机通信的通信塔了。”


真实性有待考究?


这样一则看似简短的演讲记录,最初源自于英国皇家航空学会对此次会议整理的亮点摘要,甚至 Hamilton 的这番发言还赫然被概括为:“AI,天网已至?

不久后,经由 Vice 和 The Guardian 等主流媒体报道,更是引起了轩然大波:“AI 竟罔顾人类指令、自行行动,还攻击人类?” “这对人类而言也太可怕了!”

但是,也有不少人发出质疑,认为该事件的真实性有待考究

▶ “听起来,很像是课堂或讨论中出现的那种假设场景啊?”

▶ “我认为会议演讲只是描述了一个纯粹假设的场景,简单想象了一下军事 AI 会如何出错,但它却被误报为实际模拟的结果。”

与此同时,越来越多的 AI 领域人士也开始发言:

▶ 一个声称了解向空军交付场景的团队表示:“没错,这只是一个场景而不是模拟,报道具有很大的误导性。”

▶ 乔治亚理工学院教授 Mark Riedl:“这只是一个假设的‘兵棋推演’场景,不涉及任何 AI 代理或 RL。”

▶ 沃顿商学院教授 Ethan Mollick:“我们确实应该担心这样的 AI 风险,这是一个警示故事。但我怀疑其中缺少细节,就像三星‘GPT 窃取了我们的数据’这个故事一样,事实证明,实际上只是三星担心这种情况可能发生而已。”


”一个令人遗憾的 Al 末日炒作事件”


随着该事件的舆论逐渐发酵,终于在上周五,Hamilton 承认他“说错了话”。

Hamilton 澄清道,演讲中涉及到的“AI 无人机模拟”只是一个来自军方以外的假设性 “思想实验”,整体基于合理的情景和可能的结果,并不是美国空军实际的模拟情况:“我们从未进行过该实验,也不需要进行实验来证明这个结果。”

但 Hamilton 仍补充:“尽管这只是一个假设的例子,但也说明了 AI 能力可能带来的现实世界的挑战,也是空军致力于 AI 道德发展的原因。”

毫无疑问,Hamilton 的这番澄清再次掀起了又一轮热议:不论正面还是负面,近来 AI 是否都被过度炒作了?

不仅 2018 年图灵奖得主 Yann LeCun 直接辟谣:假的,这只是一个模拟中的假设场景。

吴恩达也出面将此事概括为“一个非常令人遗憾的 Al 末日炒作事件”,并感慨道:“Al 开发者已经看到了真正的风险,如偏见、公平、不准确等,并正在努力解决这些问题。但不切实际的炒作,分散了人们对问题的注意力。”

不过,也有人指出,尽管这只是假设,但它依旧提出了一种可能:“目前,AI 可以做的事情似乎很容易控制,但当 AI 变得更有能力并且越来越难以预测时,会发生什么?

那么,对于这起事件,你又有何看法呢?

参考链接:

https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

https://www.vice.com/en/article/4a33gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-usaf-simulated-test

推荐阅读:

马化腾微信转发文章称要“收紧队形”,腾讯公关回应;微软宣布终止支持 Cortana;TypeScript 5.1发布|极客头条

资深开发者眼中的开源云原生数仓 ByConity

越“聪明”的代码,越是“一次性”


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存