OpenAI已宣布计划增加对“超级智能”的研究，这是一种具有超越人类智力能力的人工智能形式。
虽然人工智能超级智能似乎是一个遥远的前景，但OpenAI相信它的发展可能在几年内发生。
OpenAI表示：“目前，我们还没有一个解决方案来引导或控制潜在的超级智能人工智能，并防止它变得流氓。这是一个相当不祥的声明从世界领先的人工智能公司。
为了降低超级智能人工智能的风险，OpenAI计划引入新的治理结构，并将资源用于超级智能的调整，旨在将高度智能的人工智能与人类的原则和价值观相一致。他们完成这一任务的时间框架是4年。
在一篇博客文章中，OpenAI确定了3个主要目标-开发可扩展的训练方法，验证结果模型，以及彻底测试对齐过程。这包括自动发现大型模型中有问题的行为的过程。为了实现这一点，OpenAI建议开发一种专门的“自动比对研究员”–一种负责比对人工智能的人工智能。
OpenAI还召集了一支由顶级（人类）机器学习研究人员和工程师组成的团队来承担这项艰巨的任务。为了提供帮助，该公司将在未来4年内投入20%的计算资源来解决超级智能的对齐问题。
其新成立的“超级对齐团队”将承担这项任务，由OpenAI联合创始人兼首席科学家Ilya Sutskever和对齐负责人Jan Leike领导。
此外，OpenAI计划与其他人分享这项工作的成果。他们还指出，他们现有的改善现有模型（如ChatGPT）的安全性以及减轻其他人工智能风险（如误用、经济破坏和虚假信息）的工作将继续下去。
这篇博文还要求对他们的职位感兴趣， 研究工程师，研究科学家，以及 研究经理 岗位最低的年薪为245，000美元，最高可达450，000美元。
OpenAI的AI对齐技术
在之前的一篇博客文章中 关于超级智能，OpenAI描述了两种广泛的对齐技术：
1：用人工反馈训练人工智能：这种方法是关于使用人类的反应和指令来提炼人工智能。例如，人工智能被训练成提供与直接命令和更微妙的意图相一致的响应。人工智能从明确的指令和更隐含的信号中学习，例如确保真实和安全的反应。然而，以人为中心的方法可能会与复杂的能力作斗争，并且费力且耗时。
2.协助人的评价的培训模式： 第二种方法认识到，随着人工智能变得越来越复杂，它可以完成一些任务，而人类很难评估。因此，在这种方法中，人工智能用于执行任务并评估这些任务的质量。 例如，人工智能可以用于帮助检查信息的准确性，总结冗长的文档以便于人类评估，甚至批评自己的工作。
这里的最终目标是开发能够有效帮助人类评估复杂任务的人工智能系统，因为人工智能超越了人类认知领域。
OpenAI表示，他们相信超级智能的对齐是“容易处理的”。虽然超级智能人工智能的前景似乎遥远，但假设OpenAI只是乐观是不明智的。
