NIST发表了关于四种可能类型的人工智能攻击的论文

AI行业新闻12个月前发布 yundic
304 0 0

美国国家标准与技术研究所(NIST)对预测性和生成性人工智能系统的安全性提出了担忧。

NIST的计算机科学家Apostol Vassilev表示,尽管安全性有所提高,但这些技术仍然容易受到各种攻击。

在一篇题为《对抗机器学习:攻击和缓解的分类和术语瓦西列夫与东北大学和稳健智能的同事一起,对人工智能系统构成的安全风险进行了分类。

瓦西列夫说:“尽管人工智能和机器学习取得了重大进展,但这些技术很容易受到攻击,可能导致严重的失败,并造成严重后果。

他还警告说,要提防任何声称提供完全安全人工智能的公司。

这是我们的一部分 NIST可信和负责任的人工智能倡议与美国政府的AI安全目标保持一致。它研究了对抗性机器学习技术,重点关注四个主要的安全问题:规避、中毒、隐私和滥用攻击。

逃避攻击在部署后发生,改变输入以混淆人工智能系统。例如,将停车标志修改为限速标志,或创建欺骗性车道标记以误导车辆。

在中毒攻击中,在训练期间会引入损坏的数据。这可能涉及在训练数据集中嵌入频繁的不适当语言,导致聊天机器人在客户互动中采用这种语言。

隐私攻击旨在提取有关人工智能或其训练数据的敏感信息,通常通过逆向工程方法。这可能涉及到使用聊天机器人的响应来辨别其训练来源和弱点。

滥用攻击操纵合法来源,如网页,为人工智能系统提供虚假信息以改变其功能。这与中毒攻击不同,中毒攻击破坏了训练过程本身。

逃避攻击涉及在部署过程中创建对抗性示例来欺骗人工智能系统,比如错误识别自动驾驶汽车中的停车标志。

来自东北大学的Alina Oprea参与了这项研究, 他解释说:“这些攻击中的大多数都相当容易发动,只需要最少的人工智能系统知识和有限的对抗能力。”

NIST因与AI智库的联系而受到批评

另外, 人们提出了一些担忧 NIST和兰德公司之间的人工智能研究合作计划

兰德,以其与科技亿万富翁和有效利他运动,在塑造 AI安全行政命令.

众议院科学、空间和技术委员会的成员,包括弗兰克·卢卡斯和佐伊·洛夫格伦,批评这种合作缺乏透明度。

委员会的担忧有两个方面:首先,他们质疑为什么没有一个竞争性的过程来选择兰德公司进行人工智能安全研究。

通常,当像NIST这样的政府机构提供研究拨款时,他们会为不同的组织提供申请的机会,确保公平的遴选过程。但在这种情况下,兰德似乎是在没有经过这样的过程的情况下被选中的。

第二,兰德公司对人工智能研究的关注有些不安。兰德公司一直参与人工智能和生物安全研究,最近从与科技行业密切相关的来源获得了大量资金。

© 版权声明

相关文章

暂无评论

暂无评论...