围绕人工智能安全的争论仍然是一个热门话题，但业界并没有明确定义什么是“安全”人工智能，也没有一个基准来比较不同模型的安全程度。
MLCommons已将一系列公司纳入其不同的工作组，成为领先的人工智能基准组织。
当我们比较一个制造商与另一个制造商的GPU推理性能或填充LLM排行榜时，我们可以这样做，因为我们有基准。像MLPerf这样的基准测试和标准化测试使我们能够说“这个比那个好”。
但是，当涉及到人工智能安全时，我们并没有一个行业标准的基准，让我们说，“这个LLM比那个更安全。
随着人工智能安全工作组（AIS）的成立，MLCommons希望开发一套人工智能安全基准，以实现这一目标。
一些公司和组织已经在这一领域做了一些工作。谷歌对产生式人工智能的保护措施和华盛顿大学的RealToxityPrompt就是很好的例子。
但这些基准测试依赖于输入特定的提示列表，并且只能真正告诉您基于该测试提示集的模型有多安全。
这些测试通常也使用开放的数据集作为提示和响应。测试中的LLM很可能也是在这些数据集上训练的，因此测试结果可能会有偏差。
斯坦福大学基金会模型研究中心在开发语言模型整体评估(HELM)方面做了开创性的工作。Helm使用广泛的指标和场景以更全面的方式测试LLM安全。
AIS将以HELM框架为基础，为大型语言模型制定安全基准。它还邀请了更广泛的行业参与。
MLCommons的公告称：“我们预计几家公司将内部出于专有目的使用的人工智能安全测试外部化，并与MLCommons社区公开共享，这将有助于加快创新步伐。
组成AIS工作组的知名公司包括Anthropic、Coactive AI、Google、Inflection、Intel、Meta、Microsoft、NVIDIA、OpenAI、Qualcomm Technologies以及AI学者。
一旦人工智能行业能够就安全基准达成一致，它将使人工智能安全峰会等努力更加富有成效。
此外，政府监管机构随后可以坚持要求人工智能公司在允许发布模型之前，在基准上获得特定的分数。
排行榜也是很好的营销工具，所以拥有行业认可的安全记分卡更有可能推动工程预算转向人工智能安全。
