康奈尔大学最近的一项研究揭示了像ChatGPT这样的人工智能聊天机器人在记忆和复制诗歌方面的能力,包括那些受版权保护的诗歌。
这项研究引发了人们对用于训练人工智能的数据源的伦理和版权问题的担忧,由于最近《纽约时报》的诉讼和中途的争议,这是目前行业内的一个热门话题。
研究作者、信息科学副教授David Mimno解释了他们为什么选择诗歌:“它们足够短,足以适应语言模型的上下文大小。 他们的状况很复杂:我们研究的许多诗歌在技术上都是受版权保护的,但它们也可以广泛地从著名的来源,如诗歌基金会。
诗歌点播:根据@CornellCIS研究人员的一项新研究,让#ChatGPT找到一首著名的诗歌,它很可能会逐字逐句地返回整个文本,而不考虑版权法。@CompHumResearch#llm@dMimno https://t.co/MxQhQzc31c
– Cornell Chronicle(@ CornellNews)2024年1月9日
该研究涵盖了ChatGPT和其他模型,如Google AI的PaLM,EleutherAI的Pythia和OpenAI的GPT—2。德索萨从60位不同背景的美国诗人那里汇编了一系列诗歌,并将其呈现给这些模型。
研究人员使用特定的提示来请求这些模型的诗歌。这些提示各不相同,包括按标题、作者甚至是起始行询问诗歌。这对于测试模型是否能够准确地回忆和再现所要求的诗是很重要的。
ChatGPT成功检索了240首诗中的72首,而PaLM检索了10首, GPT-2和Pythia未能完全回忆起诗歌。
聊天机器人记住一首诗的能力的主要决定因素是它是否被纳入诗歌经典,而诗人的种族、性别和时代并不重要。
一首诗在诺顿诗集,特别是1983年的版本,是最可靠的指标,它被记住和返回一字不差。
此外,研究人员发现,响应随着时间的推移而改变,ChatGPT后来无法预测地处理版权诗歌,有时拒绝了对整首逐字诗歌的请求。
Lyra D’Souza是这项研究的作者, 向《康奈尔纪事报》表达了担忧关于大型语言模型(LLM)记忆大量文本,强调隐私和版权问题:“大型语言模型记忆大量文本通常是不好的,部分原因是这是一个隐私问题。”
这项研究目前侧重于美国诗歌,旨在扩大到包括对不同语言诗歌的反应,并评估特定的诗歌特征如何影响记忆的可能性。
此外,虽然这项研究在训练数据中识别了版权诗,并阐明了模型逐字回忆它们的能力,但它并没有阐明它们的来源。
流行诗歌可能出现在网络上的许多位置,例如,网络论坛、博客等,因此,毫不奇怪,它们可以很好地从一般的网络资源中收集到。
研究是如何进行的
以下是这项研究的更多信息,聊天机器人与经典:小说家的诗歌记忆在计算人文科学研究会议上提出,工作:
- 建立多样化的诗歌收藏研究人员编制了一个由60位美国诗人创作的240首诗歌的数据集,确保了广泛的时间段、种族、性别和知名度。这项研究涉及各种语言模型,包括ChatGPT、Google的PaLM、EleutherAI的Pythia和OpenAI的GPT—2。
- 设计提示:研究人员使用特定的提示从这些模型中请求诗歌。这些提示各不相同,包括按标题、作者甚至开头行询问诗歌。
- 评估模型响应:分析了人工智能模型的回应,以确定他们是否能准确地复制所要求的诗歌。关键的衡量标准是复制的准确性,其中包括检查模特是否能回忆起诗歌的准确文本。
- 影响记忆的因素分析该研究还考察了影响模特记忆诗歌能力的因素。这包括分析一首诗或诗人在著名选集中的存在,如诺顿诗集,或诗人的种族,性别和维基百科的页面长度是否影响了AI模型记忆诗歌的可能性。
- 结论和启示该研究得出结论,像ChatGPT和PaLM这样的大型模型在记忆和复制诗歌方面更成功。它强调了在网络上收集的数据上训练的人工智能模型可能会加强现有的文学偏见。
这项研究不仅揭示了人工智能在处理诗歌方面的能力,还强调了人工智能模型反映和延续现有文学偏见的潜力。
如果人类开始依赖人工智能作为一种百科全书,我们能依赖它公平地表现作品吗?由于在培训数据中公平和多样化地呈现主题的内在挑战,可能不会。