斯坦福大学互联网天文台进行的一项研究在LAION数据库中发现了超过3200张疑似儿童性虐待的图像，LAION数据库是一个大型在线图像索引和字幕，用于训练像稳定扩散这样的人工智能图像生成器。
斯坦福大学团队与加拿大儿童保护中心和其他反虐待组织合作，审查了数据库，并向执法部门报告了他们的调查结果。LAION包含数十亿张通过无引导的网页抓取获得的图像。
其中1，000多张照片后来被证实为儿童性虐待材料。这些信息发表在一篇论文中，”产生式ML训练数据和模型中CSAM的识别和消除“
研究人员表示：“我们发现，即使在2023年末，拥有LAION-5B数据集也意味着拥有数以千计的非法图像。”这突显了互联网抓取的数据集及其完全未经验证和检查的内容的性质。
人工智能图像生成器与多起儿童性虐待和色情案件有牵连。最近，一名北卡罗来纳州男子， 入狱40年在被发现拥有人工智能生成的虐待儿童图像后，这可能是世界上第一个因此类罪行而受审的人。
LAION是大规模人工智能开放网络的缩写，它迅速将其数据集从公众访问中移除。
LAION随后发表声明，强调其对非法内容的零容忍政策，并承诺在重新发布之前确保其数据集的安全。
由于这些数据被用于训练流行的模型，他们将能够“使用”它来生成全新的内容，这已经在发生。一项调查发现，人们正在创造这些类型的图像， 在Patreon这样的网站上出售.
研究人员指出，人工智能工具也可能通过合并不同类别的在线图像（成人色情和儿童良性照片）来合成犯罪内容。
斯坦福大学互联网天文台首席技术专家、该报告的作者David Thiel强调了这些问题是如何产生的，并指出在竞争激烈的技术环境中，许多人工智能项目的仓促部署。
他在一次采访中表示：“在整个互联网范围内收集数据并建立数据集来训练模型，如果有什么不同的话，那就是应该局限于研究工作，而不应该在没有更严格的关注的情况下将其开源。”
斯坦福互联网天文台敦促那些基于LAION—5B的训练集构建者要么删除它们，要么与中间商合作清理这些材料。它还建议使较旧版本的稳定扩散，特别是那些以生成明确图像而闻名的版本，在网上更少访问。
Stability AI表示，他们只托管经过过滤的Stable Diffusion版本，并已采取积极措施来降低滥用风险。
加拿大儿童保护中心的IT主任劳埃德·理查森评论了这个问题的不可逆转性，他说：“我们不能收回它。这个模型掌握在许多人的手中，他们的本地机器。
LAION的过去研究
斯坦福大学的研究并不是第一个对LAION这样的数据库进行调查的研究。
2021年，计算机科学研究人员Abeba Birhane、Vinay Uday Prabhu和Emmanuel Kahembwe发表了《多模态数据集：厌女症、色情和恶性刻板印象》，分析了LAION—400M图像数据集。
他们的论文指出，“我们发现数据集包含了令人困扰的、明确的图像和文本对，包括强奸、色情、恶意的刻板印象、种族主义和种族诽谤，以及其他非常有问题的内容。
这项研究还发现，用于图像的标签往往反映或代表有意识和无意识的偏见，这反过来又对数据用于训练的人工智能模型造成了偏见。
过去的许多研究都检验了有偏见的数据集和有偏见的模型输出之间的联系，影响包括性别歧视或性别偏见的模型将女性的技能评为低于男性的技能，歧视性和不准确的面部识别系统，甚至是医疗人工智能系统的失败，该系统旨在检查深色皮肤的人的潜在癌症皮肤病变。
因此，除了滥用儿童相关的材料促进了人工智能模型的非法使用，数据集中的问题在整个机器学习生命周期中表现出来，有时最终威胁到人们的自由、社会地位和健康。
Abeba Birhane回应了斯坦福大学关于X的研究，他是上述论文的合著者之一，其他人研究了LAION和基础数据对模型输出的相关影响，他指出，斯坦福大学没有充分讨论过去关于这个主题的研究。
我和我的合作者对LAION数据集做了最广泛的研究（3篇学术论文，2021年第一个调查数据集显示厌女症，色情和恶性刻板印象）
但斯坦福大学的研究一次也没有引用过我们。这是学术不端行为www.example.com
– Abeba Birhane（@ Abebab）2023年12月21日
Birhane强调，这是一个系统性的问题，斯坦福大学等学术据点倾向于将他们的研究描述为开创性的，而事实往往并非如此。
对于Birhane来说，这表明了学术界更广泛的“擦除”问题，在学术界，来自不同背景和美国技术界以外的人的研究很少得到公平的评价。
10月份，我们发表了一篇关于人工智能殖民主义的文章，展示了人工智能知识、资产和数据集如何在选定的几个地区和学术机构进行超本地化。
综合来看，语言、文化和种族多样性正在逐渐和系统地在该行业中缺乏代表性，无论是在研究、数据方面，还是反过来在模型产出方面。
对业内人士来说，这是一颗定时炸弹。当训练非常强大的“超级智能”模型或人工通用智能（AGI）时，数据集中的此类内容可能影响深远。
正如Birhane和他的同事们在他们的研究中指出的那样：“越来越多的人工智能研究人员相信，通过用”所有可用的数据“训练大型人工智能模型，就存在一条通向人工智能(AGI)的道路。
“所有可用数据”一词通常包含从WWW收集的大量数据（即图像、视频和文本）…这些数据包括严重歪曲妇女等群体的图像和文本，体现了有害的刻板印象，压倒性地将黑人妇女性化，并崇拜亚洲妇女。此外，大规模互联网收集的数据集还捕捉非法内容，例如性虐待、强奸和未经同意的露骨图像。
人工智能公司对斯坦福大学的研究做出反应
OpenAI澄清说，它没有使用LAION数据库，并对其模型进行了微调，以拒绝涉及未成年人的性内容请求。
谷歌使用LAION数据集开发了文本到图像的Imagen模型，在审计发现一系列不当内容后，决定不将其公开。
人工智能开发人员在不加区别地使用数据集和没有适当的尽职调查的情况下所面临的法律风险可能是巨大的。
正如斯坦福大学建议的那样，开发人员在创建人工智能模型和产品时需要更加谨慎地履行自己的责任。
除此之外，人工智能公司迫切需要更好地与研究社区和模型开发人员接触，以强调将模型暴露于此类数据的风险。
正如先前的研究所表明的，“越狱”模式诱使他们绕过护栏是简单的。
例如，如果有人越狱一个极其智能的AGI系统，该系统专门针对虐待儿童、歧视性材料、酷刑等进行培训，会发生什么？
这是一个行业难以回答的问题。不断提到反复被利用和操纵的护栏是一种可能磨损的立场。
