人工智能的发展非常迅速，这意味着监管需要迎头赶上，而治理则是一种事后的想法。
确保人工智能安全的正式流程很少，研究人员表示，改变这一点取决于行业。
许多人工智能领导者和业内人士都将人工智能与核能进行了比较。有很多相似之处 – 人工智能正在迅速增长，它构成了潜在的生存风险，而且外交事务使它变得复杂，这一次是在美国和中国新兴的人工智能超级大国之间。
几十年后，核工程师才说服更广泛的科学界相信核反应堆的安全性。第一批反应堆是在40年代末和50年代初建造的，直到1954年的美国原子能法案才出现一定程度的监管。
美国政府意识到了核电的风险，但苏联在1954年年中将他们的第一个民用反应堆投入使用，因此他们没有浪费时间建造自己的反应堆。1955年，专员威拉德·F·利比说：“我们最大的危险是，这种对人类的巨大利益将被不必要的管制扼杀。”
这里有什么熟悉的地方吗？就在上个月，OpenAI首席执行官Sam Altman敦促成立一个国际人工智能安全机构，如成立于1957年的国际原子能机构（IAEA）。就像核能一样，g世界各地的政府都在研究如何在监管风险的同时保护人工智能的好处。
国际原子能机构是联合国的一个独立组成部分，目前有174个成员国。1957年后，切尔诺贝利之前发生的核灾难相对较少。
人工智能应该从核安全的历史中吸取教训
Heidi Khlaaf是网络安全咨询公司Trail of Bits的工程总监，他曾经评估和验证核电站的安全性。 她最近告诉麻省理工学院 核电站需要数以千计的文件来证明其安全性，深入研究每个独立部件的细微差别。
切尔诺贝利事件后，核管制变得极其严格。核反应堆的规划、许可和建造可能需要10年甚至更长时间，部分原因是整个过程在每个节点都受到严格监控。赫拉夫指出，这与利润无关——核安全源于真正的生存风险。
相比之下，人工智能公司使用简单的“卡片”来报告他们的模型，这些卡片基本上列出了功能。
此外，该模型的内部运作通常是“黑箱”，这意味着决策过程在很大程度上对外部观察者关闭。
即使是ChatGPT，与OpenAI的同名相反，也是一个黑匣子，人工智能公司已经建立了一个声誉， 对他们的模型和训练数据保持谨慎。
想象一下，核反应堆是一个“黑匣子”，它们的开发者不会告诉公众它们是如何工作的？
人工智能风险分析需要系统化
为了降低像Altman这样的人工智能领导者欣然承认的风险，公司必须更深入地实施可追溯性战略。这涉及到从人工智能开发过程一开始就进行严格的监控。
Khlaaf说：“你需要有一个系统的方法来度过风险。这不是一个场景，你只是去，’哦，这可能发生。我就把它写下来吧。”
目前，还没有既定的人工智能风险评估流程，但已经有人尝试创建一个流程。
例如， DeepMind最近发布了一个技术博客 与几所大学合作，具体规定在培训前应对模型进行”极端风险”评估。本文提出了两个策略：
- 评估模特可能被用来威胁安全、施加影响或逃避人类监督的“危险能力”的程度。
- 评估模特造成伤害的可能性，例如，是否有可能不按预期行事。
该项目的研究人员之一托比·谢夫兰表示：“正在推动前沿发展的领先人工智能公司有责任对新出现的问题保持警惕，及早发现，这样我们就可以尽快解决这些问题。”
如果人工智能要从核安全中吸取教训，那么早期监管至关重要，但长期的自满是致命的。没有人知道人工智能版的切尔诺贝利或福岛会是什么样子，也没有人想知道。
