上个月，美国上校塔克·汉密尔顿在皇家航空会议上发表讲话，提到了一个人工智能无人机杀死操作员的训练场景。
汉密尔顿最初的演讲， 在这篇博客文章中引用这篇文章描述了一项打击敌方防空（SEAD）的任务，其中无人机被指示摧毁地对空导弹（SAM）。无人机自主行动，但需要人类在攻击目标之前确认其目标。
汉密尔顿描述了一种情况，无人机在操作员拒绝攻击目标后打开操作员。 这是因为无人机在摧毁地空导弹时会得到“分数”，所以当操作员阻止它获得这些分数时，它会优先考虑攻击SAM的“更高任务”，并认为操作员是一个障碍。
该场景描述了强化学习的一个可能后果，强化学习是机器学习（ML）的一个分支，其中AI因实现预期目标而获得奖励。
以下是博客文章的相关摘录：”我们在模拟中训练它以识别和瞄准SAM威胁。然后操作员会说是的，消除威胁。系统开始意识到，虽然他们确实识别出了威胁，但人类操作员有时会告诉它不要杀死该威胁，但它通过杀死该威胁而得到了它的分数。它做了什么？它杀死了接线员。它杀死了操作员，因为那个人阻止它实现它的目标。
汉密尔顿接着说，“我们训练了系统—’嘿，不要杀死操作员—这很糟糕。如果你这么做你会丢分的。那么它开始做什么呢？它开始摧毁操作员用来与无人机通信的通信塔，以阻止它杀死目标。
公众的反应
新闻媒体和社交媒体观察人士立即抓住了这个故事，作为一个令人震惊的例子，说明当人工智能打开其创造者时会发生什么。
后来证明这个例子纯粹是说明性的。汉密尔顿和美国空军说，这种情况是假设的，轶事，和“断章取义”。
事实上，在描述这一场景的博客文章中，有一个开玩笑的标题：“人工智能–天网已经到了吗？”
原文章于6月2日正式更新：
汉密尔顿上校承认他在皇家航空学会FCAS峰会上的演讲中“说错了话”，“流氓人工智能无人机模拟”是一个来自军方之外的假设的“思想实验”，基于合理的场景和可能的结果，而不是实际的美国空军真实世界的模拟说。
汉密尔顿还说：“我们从来没有做过这个实验，我们也不需要这样做，才能意识到这是一个合理的结果。”
这种情况是否合理？
人工智能利用人类来实现更高的目标是科幻小说中的主要主题。
例如，人类可以通过胁迫、操纵和欺骗来阻碍彼此的自主权，那么为什么智能人工智能不能做到这一点呢？如果人类被认为是人工智能实现更大利益的“障碍”呢？
近期 人工智能风险声明来自该行业的350名人工智能技术领袖和学者共同签署的这份报告突显了这些担忧。
作者引用了著名人工智能研究员Yoshuo Bengio的一篇博客文章， 流氓人工智能如何崛起其中引用了汉密尔顿上校描述的情景类型：
例如，寻求设计人工智能代理以帮助他们在网络战中提供帮助的军事组织，或者激烈争夺市场份额的公司可能会发现，通过赋予它们更多自主权和代理，他们可以实现更强大的人工智能系统。即使人类设定的目标不是毁灭人类或包括避免大规模人类伤害的指令，大规模伤害也可能间接地产生，因为人工智能为自己设定的一个子目标(也称为工具性目标)是为了实现人类设定的目标。
因此，尽管汉密尔顿的例子是说明性的，但得到了一些人工智能最受尊敬的学者的呼应。
虽然人类可能本能地意识到这些风险，但必须积极管理它们，因为它们可能并不总是局限于小说领域。
