CDAO和国防部组织活动以确定语言模型中的偏见

2024年1月29日，国防部首席数字和人工智能办公室（CDAO）启动了人工智能偏见赏金演习。

这些项目旨在众包人工智能系统中的偏见检测，特别强调大型语言模型（LLM）。

该计划是CDAO在整个国防部整合和优化安全人工智能的更广泛努力的一部分。

不受限制的人工智能偏见的影响是深远的，表现在各个部门，从执法和金融服务到医疗保健等。

的实例 AI错误识别个人参与犯罪、否认不公正的信贷以及在医疗环境中误诊患者，突显了机器学习系统中偏见的关键性质。

在许多情况下，有偏见的数据集将偏见嵌入到机器学习系统中。例如，看似无害的MIT Tiny Images数据集包含了攻击性内容。最近的 LAION—5B数据集被发现含有儿童性虐待材料。

国防部负责任的人工智能(RAI)司代理长马修·约翰逊在谈到CDAO的举措时表示，“RAI团队很高兴能领导这些人工智能偏见奖励，因为我们坚定地致力于确保国防部的人工智能系统–以及它们运行的环境–是安全、可靠和无偏见的。”

这个开创性计划的第一阶段专注于发现和解决与LLM相关的未知风险，从开源聊天机器人开始。

参与者可以根据他们的贡献获得金钱奖励，由ConductorAI-Buggroup评估，并由国防部资助。

结果可能会指导新的政策和建议。首席数字和人工智能官克雷格·马特尔指出：“鉴于国防部目前对低密度脂蛋白相关风险的关注，CDAO正在积极监测这一领域；人工智能偏见奖励的结果可能会对未来国防部的人工智能政策和采用产生强有力的影响。”

美国政府招募了人工智能研究人员和黑客来调查和红队模型，包括当他们 在Def Con上批准了一次会议，在拉斯维加斯举行的黑客大会。