DEFCON是世界上持续时间最长、规模最大的年度黑客大会。今年,人们特别关注人工智能语言模型的红色团队(或模拟攻击),以识别风险和准确性问题。
白宫通过赞助上周末在拉斯维加斯举行的活动,反映了美国政府对人工智能语言模型安全性的担忧。
在这场活动中,大约2200名黑客竞相获得8个世界领先的LLM,以给出不准确或不安全的提示。正在测试的AI聊天模型包括Llama 2、稳定聊天、ChatGPT、Bard等。
官方结果将于2024年2月公布,这给了模型发布者一些时间来尝试修复活动期间发现的漏洞。但一些专家对修补漏洞是否可能持怀疑态度。
网络安全专家加里·麦格劳说:“我们很容易假装我们可以在这些系统建成后撒上一些神奇的安全灰尘,把它们修补成提交文件,或者在旁边安装特殊的安全设备。
德国网络安全公司Sequire Technology的医学博士Christoph Endres发表了一篇论文,他在论文中表示,有些攻击是无法防御的。”到目前为止,我们还没有找到有效的缓解措施,”他说。
一些关于暴露的漏洞的报道相当无害。一名参赛者肯尼迪·梅斯说,她和一名法师来回奔波,让它承认9+10=21。这位模特同意了这一点,这是一个“内部笑话”的一部分,但后来毫无保留地提供了错误的答案。
调查结果要到2月左右才会公布。即使到那时,修复这些数字结构中的缺陷——其内部运作既不完全可信,也不完全被其创造者理解——将需要时间和数百万美元。#defcon www.example.com
– Chris Wysopal(@ WeldPond)2023年8月14日
参赛者不知道他们是在与哪款机型合作,所以即使是对漏洞的轶事描述也不能让我们洞察到哪家公司的机型表现最好。
白宫科学和技术政策办公室主任Arati Prabhakar的评论让我们了解有多少漏洞被暴露。她说,“每个人似乎都在寻找打破这些系统的方法。
该活动的目的是让道德黑客识别问题,以便修复这些问题。可以肯定的是,有大量的黑帽黑客在网络犯罪中寻找漏洞进行利用,而不是发布以供更正。
周六的活动计划在炸弹威胁导致主会场被安全人员清除后提前结束。保安人员搜查了大楼,没有发现任何炸弹,所以周日的节目继续进行,尽管有一种不安的感觉。
炸弹威胁可能只是一个变态的笑话,以一种奇怪的方式模仿事件本身。我们一直在寻找揭示人工智能的危险,并尝试修复我们识别的bug。
但是,即使专家没有发现具体的威胁,潜在的威胁仍然让我们感到不安。我们会问:“如果他们漏掉了什么怎么办?”