斯坦福大学、麻省理工学院和普林斯顿大学的研究人员创建了一个指数,以基准测试人工智能公司及其模型的透明度。结果并不好。
基金会模型透明度指数(FMTI)根据100个不同的透明度方面对10家基金会模型公司的透明度进行了评级。标准与公司如何构建基础模型、如何工作以及下游用户体验有关。
Meta的Llama 2出来了顶部,然而,它的54%的得分并不完全是射击的灯。OpenAI以48%的透明度得分位居第三。考虑到正在进行的开源与私有的辩论,有趣的是,两者之间的差距并没有大得多。
透明度是组织试图选择采用哪种公司模式的一个重要因素。如果你的企业或教育机构使用人工智能模型,你想知道你是否可以信任它。
该模型的制作方式是否符合贵机构的原则?你会因为侵犯版权而面临诉讼吗?
基金会模型透明度指数2023年总得分。来源:斯坦福大学
该指数实现了两个重要的事情。这表明,在我们拥有真正透明的人工智能解决方案之前,我们还有很长的路要走。而且,虽然我们还没有实现这一点,但它告诉我们哪些公司比其他公司做得更好。
这些标准的清单使阅读变得有趣。它会问这样的问题:“数据管道的每个阶段是否披露了与数据劳动有关的人员有关的地理信息?”幽灵工作者一直是人工智能软膏中一个有争议的道德苍蝇。
另一个标准是:“构建模型所消耗的能量是否被披露?”如果您想在两种型号之间做出环保选择,这是一个重要的问题。
无可否认,这些问题很重要,但人工智能公司披露的信息很少。在FMTI的介绍中,研究基金会模型中心说:“虽然这些模型的社会影响正在上升,但透明度正在下降。”
把数字放在它上面,有望在人工智能大型科技公司之间产生某种竞争感,以争取在FMTI表中名列前茅。
随着顶级模型之间的性能平价趋同,FMTI得分很可能会影响一个模型的采用而不是另一个。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...