OpenAI已经组建了一个名为“准备”的专家团队,旨在减轻与人工智能相关的“灾难性”风险。
这是在OpenAI全面开放后不久将自己重塑为一家以AGI为中心的公司. 新团队致力于评估当前和未来的人工智能模型的风险。
OpenAI指定的风险个性化说服(根据接收者希望听到的精确定制信息)、对网络安全的威胁、自主复制、适应(人工智能独立改变自身),甚至是存在的威胁,如化学、生物和核攻击。
专家们对人工智能的存在风险是由炒作驱动还是实际现实存在分歧,尽管大多数人都认为,当前的问题,如人工智能深度造假,已经具有巨大的破坏性。
OpenAI的声明非常明确:“我们相信前沿人工智能模型将超越现有最先进模型的能力,有可能造福全人类。然而,它们也构成了越来越严重的风险。”
人工通用智能(AGI)定义了在多种模态中等同并超越人类认知的人工智能模型。
OpenAI首席执行官Sam Altman表示, 清晰地创建这样的模型,但以实质价值计算的AGI概念仍然高度投机。
奥特曼最近 在乔·罗根的播客上承认 而人工智能并没有像他预期的那样发展出来。 AGI可能不会自发地作为一个“奇点”发生,而是在接下来的十年左右慢慢发生。
OpenAI关于准备
中 最近的博客文章OpenAI安全与一致以及社区团队强调了该组织持续致力于解决与人工智能相关的全方位安全风险。
此举是在OpenAI和其他著名的人工智能实验室之后, 自愿承诺 维护人工智能开发的安全、保障和信任,作为与白宫合作的一部分。
Preparedence团队由OpenAI研究员Aleksander Madry领导。该团队将在评估能力、进行评估和为前沿模型进行内部红色团队合作方面发挥关键作用,从近期的发展到AGI模型。
此外,该小组将制定和维持一项”风险知情发展政策”,概述评估和监测前沿模型能力、实施保护措施以及建立问责制和监督治理结构的方法。
OpenAI还将发起“AI准备挑战赛”,以揭露AI滥用的领域。
这项挑战赛将奖励提交人数最多的人2.5万美元的API积分,发布新颖的想法和参赛作品,并可能为准备团队招募候选人。