围绕人工智能风险的叙述已变得越来越单极，来自各个领域的科技领袖和专家都在推动监管。记录人工智能风险的证据可信度有多高？
人工智能的风险对感官很有吸引力。害怕机器人可能会欺骗我们，压倒我们，或者把我们变成一种次要的商品，这是出于直觉。
围绕人工智能风险的辩论在结束后加剧，他是非营利组织人工智能安全中心（CAIS） 该公司发布了一份由350多位知名人士签署的声明，其中包括OpenAI、Anthropic和DeepMind的首席执行官，以及众多学者、公众人物，甚至前政治家。
声明的标题注定成为头条新闻： “与流行病和核战争等其他社会规模的风险一样，减轻人工智能灭绝的风险应该是全球优先考虑的问题。”
从这场喧闹的辩论中抢救出有意义的信号变得越来越困难。人工智能的批评者有足够的弹药来反对它，而支持者或观望者则有足够的弹药谴责反人工智能的说法被夸大。
还有一个次要情节大型科技公司可能正在推动监管，将人工智能行业与开源社区隔离开来。 微软投资了OpenAI，谷歌投资了人类–下一步可能是提高进入门槛，扼杀开源创新。
而不是人工智能对人类构成生存风险，可能是开源人工智能对大型科技构成生存风险。解决方案是一样的—现在就控制它。
现在还太早了
人工智能刚刚在公众意识中浮出水面，因此几乎所有关于风险和监管的观点都仍然相关。CAIS的声明至少可以作为指导以证据为基础的讨论的有价值的方法。
萨里大学机器人学和人工智能讲师奥斯卡·门德斯·马尔多纳多博士说：“人工智能专家签署的文件比目前的头条新闻让你相信的要微妙得多。“人工智能可能导致灭绝”立即让人联想到一场终结者式的人工智能接管。这份文件比这要现实得多。
正如马尔多纳多强调的那样，人工智能风险声明的真正实质发布在他们网站的另一个页面-人工智能风险-而围绕那里提出的观点的讨论非常少。理解人工智能风险的可信度，对于了解围绕这些风险的辩论至关重要。
那么，CAIS收集了什么证据来证实它的信息？人工智能经常被吹捧的风险看起来可信吗？
风险1：人工智能武器化
人工智能的武器化是一个令人不寒而栗的前景，所以这在CAI的8个风险中位居榜首或许也就不足为奇了。
CAIS认为，人工智能可以在网络攻击中武器化，安全与新兴技术中心的研究人员证明了这一点，该中心概述使用情况 机器学习（ML）攻击IT系统。 前谷歌首席执行官埃里克·施密特（Eric Schmidt）还提请人们注意人工智能在定位零日漏洞方面的潜力，这为黑客提供了一种通过其最薄弱点进入系统的方法。
在另一个方向上，负责军备控制的顾问迈克尔·克雷德讨论了， 核指挥和控制系统的自动化这也可能会被人工智能所破坏。他说，“这些系统也容易出现无法解释的故障，并可能被熟练的专业人员愚弄或“欺骗”。此外，无论在网络安全上花费多少钱，NC3系统总是容易受到先进对手的黑客攻击。
另一个可能的武器化的例子是自动发现生物武器。人工智能已经成功地发现了潜在的治疗性化合物，所以这种能力已经存在。
人工智能甚至可以在最少的人工指导下自主进行武器测试。例如，匹兹堡大学的一个研究小组表明， 人工智能代理人可以进行自己的自主科学实验。
风险2：错误信息和欺诈
人工智能复制和模仿人类的潜力已经引起了动荡，我们现在已经目睹了几起涉及深度造假的欺诈案件。来自中国的报告表明，与人工智能相关的欺诈行为十分普遍。
最近的一起案件涉及一名来自亚利桑那州的女子，她拿起电话与哭泣的女儿对质–至少她是这么认为的。“声音听起来就像布里的声音，音调变化，所有的东西，”她告诉CNN.骗子索要100万美元赎金。
其他策略包括使用生成人工智能进行“性虐待”和报复色情，其中威胁行为者使用人工智能生成的图像声称对露骨的虚假内容进行勒索， 联邦调查局6月初警告说，.这些技术正变得越来越复杂，更容易大规模推出。
风险3：代理或规格游戏
人工智能系统通常使用可测量的目标进行训练。然而，这些目标可能仅仅是真正目标的替代品，导致不希望的结果。
一个有用的类比是希腊神话中的迈达斯国王，他得到了狄俄尼索斯的一个愿望。 迈达斯要求他触摸的任何东西都会变成金子，但后来意识到他的食物也会变成金子，几乎导致饥饿。 在这里，追求一个“积极”的最终目标会导致负面后果或过程的副产品。
例如，CAIS提请注意社交媒体上使用的人工智能推荐系统，以最大限度地提高观看时间和点击率指标，但最大限度地提高参与度的内容并不一定 有利于用户的福祉.人工智能系统已经被指责在社交媒体平台上孤立观点，以创建“回声室”，延续极端想法。
DeepMind证明，人工智能机构有更微妙的手段，通过目标泛化.在他们的研究中，DeepMind发现，一个看似有能力的人工智能可能会错误地概括其目标，并遵循其错误的目的。
风险4：社会衰弱
CAIS与电影《WALL—E》中的反乌托邦世界进行了比较，警告人们不要过度依赖人工智能。
这可能导致人类失去自治能力，减少人类对未来的控制。人类创造力和真实性的丧失是另一个主要问题，人工智能在艺术、写作和其他创造性学科方面的创造性才能放大了这一点。
一位推特用户调侃道：“人类靠最低工资做艰苦的工作，而机器人写诗画画，这不是我想要的未来。这条推文获得了超过400万的印象。
人类以最低工资做艰苦的工作，而机器人写诗和画画，这不是我想要的未来。
– Karl Sharro（@ KarlreMarks）2023年5月15日
衰弱并不是迫在眉睫的风险，但一些人认为，技能和人才的丧失加上人工智能系统的主导地位，可能会导致人类停止创造新知识的场景。
风险5：价值锁定风险
强大的人工智能系统可能会造成压迫系统的锁定。
例如，人工智能的集中化可能为某些政权提供了通过监视和压制性审查来实施价值观的权力。
或者，通过天真地采用高风险的人工智能，价值锁定可能是无意的。例如，面部识别的不精确导致至少三名男子在美国被暂时监禁，其中包括Michael Oliver和Nijeer Parks他们在2019年因虚假的面部识别匹配而被错误拘留。
一个极具影响力的人2018年名为性别阴影的研究研究发现，微软和IBM开发的算法在分析深色皮肤的女性时表现不佳，错误率比浅色皮肤的男性高34%。这个问题在189个其他算法中得到了说明，所有这些算法对深色皮肤的男性和女性的准确率都较低。
研究人员认为，由于人工智能主要是在西方研究团队创建的开源数据集上进行训练，并通过最丰富的数据资源—互联网来丰富，它们遗传了结构性偏见。大规模采用审查不当的人工智能可能会造成并加强这些结构性偏见。
风险6：人工智能制定紧急目标。
人工智能系统可能会开发新的能力或采用他们追求的意想不到的目标，并带来有害的后果。
来自剑桥大学的研究人员引起人们对人工智能系统的关注，他们正在获得追求紧急目标的能力。紧急目标是从复杂的人工智能行为中出现的不可预测的目标，例如关闭人类基础设施以保护环境。
此外，a 2017年的研究发现人工智能可以学习防止自己被关闭，如果跨多个数据模式部署，这个问题可能会加剧。例如，如果一个AI决定，为了追求它的目标，它需要将自己安装到一个云数据库中，并在互联网上进行复制，那么关闭它可能几乎是不可能的。
另一种可能性是，设计仅在安全计算机上运行的潜在危险人工智能可能会被“释放”并释放到更广泛的数字环境中，在那里它们的行为可能变得不可预测。
现有的人工智能系统已经证明自己不可预测。例如如 GPT-3变得更大，它获得了能进行基本算术运算，尽管没有接受过明确的算术训练。
风险7：人工智能欺骗
未来的人工智能系统可以欺骗他们的创造者和监视器，这不一定是出于作恶的内在意图，而是
欺骗可能是一种比通过合法手段追求目标更直接的途径。人工智能系统也可能会开发出规避其监控机制的激励机制。
Dan Hendrycks，CAIS主任， 描述说，一旦 这些欺骗性的人工智能系统得到监控人员的许可，或者在他们设法压倒他们的监控机制的情况下，他们可能会变得背信弃义，绕过人类控制，追求被认为对总体目标来说是必要的“秘密”目标。
风险8：权力追求行为
来自美国几个顶级研究实验室的人工智能研究人员 证明了人工智能系统寻求超越人类的权力以实现其目标的可行性。
作家兼哲学家乔·卡尔史密斯描述了几种可能性这可能会导致人工智能中的权力追求和自我保护行为：
- 确保其生存（因为代理人的持续存在通常有助于实现其目标）
- 反对修改其设定的目标（因为代理致力于实现其基本目标）
- 增强其认知能力(因为增强的认知力有助于代理实现其目标)
- 提高技术能力（因为掌握技术可能有助于实现目标）
- 聚集更多的资源(因为拥有更多的资源往往有利于实现目标)
为了支持他的说法，Carlsmith强调了一个现实生活中的例子，其中OpenAI训练了两个人工智能团队，让他们在一个具有可移动块和坡道的模拟环境中参与捉迷藏游戏。 有趣的是，人工智能开发了依赖于控制这些街区和坡道的策略，尽管没有明确的激励与它们互动。
人工智能风险的证据可靠吗？
CAIS的信誉，与他们的一些批评者相反，他们引用了一系列研究来支持人工智能的风险。这些研究范围从推测性研究到不可预测的人工智能行为的实验证据。
后者特别重要，因为人工智能系统已经拥有了不服从其创造者的智慧。然而，在一个封闭的实验环境中探测人工智能风险并不一定能解释人工智能如何“逃离”其定义的参数或系统。这方面的实验研究可能缺乏。
除此之外，人工智能的人类武器化仍然是一个迫在眉睫的风险，我们正在通过人工智能相关欺诈的涌入目睹这一点。
虽然目前人工智能占主导地位的电影奇观可能仅限于科幻小说领域，但我们不能淡化人工智能在人类管理下进化的潜在危险。
