Copyleaks报告说,大约60%的GPT—3.5输出是抄袭的。

AI伦理与社会9个月前发布 yundic
439 0 0

Copyleaks的一项研究发现,OpenAI的GPT—3.5输出中有60%显示出抄袭的迹象。

开发抄袭和人工智能内容分析工具的Copyleaks强调了人工智能生成文本值得质疑的原创性和可靠性,特别是考虑到最近的版权侵权和抄袭争议。

这项研究分析了GPT-3.5的1045份试卷,涉及26门学术和创意学科,包括但不限于物理、化学、计算机科学、心理学、法律和人文科学,每份试卷的平均长度为412个单词。

调查结果:Copyleaks报告包括以下内容:

  • 在所有GPT—3.5生成的文本中,约有59.7%被发现在某种程度上包含抄袭内容。
  • 45.7%的输出包含精确的文本匹配,27.4%包含轻微的修改,46.5%涉及从先前存在的源代码的释义。
  • 值得注意的是,计算机科学学科的个人输出“相似性得分”最高,约为100%,突出了严重依赖技术和专业语言的领域的一个重大关注。

这项研究的“相似性得分”是Copyleaks设计的一个专有指标,用于量化内容的原创性程度。它它融合了各种因素,如相同的文本和释义。

物理学的平均相似性得分最高,为31.3%,心理学紧随其后,为27.7%,普通科学为26.7%。在光谱的另一端,戏剧的平均得分最低,只有0.9%,其次是人文学科的2.8%和英语语言的5.4%。

相似性分数在受试者之间的分布并不特别令人惊讶。例如,解释莎士比亚戏剧的方法几乎是无限的,而分析一个成熟的数学定理的方法则少得多。

Copyleaks的首席执行官兼联合创始人Alon Yamin说,物理、化学、计算机科学和心理学等学科由于得分较高,需要对抄袭进行更严格的审查。

“例如,物理,化学,数学和心理学可能需要更深入的研究来识别抄袭的文本,而其他学科,包括戏剧和人文,可能需要较少的审查,”Yamin说。

然而,教育工作者必须认识到,有些学科自然地会获得高相似性分数。

Yamin还表示,“此外,这些数据强调了组织需要采用解决方案来检测人工智能生成内容的存在,并为人工智能内容中的潜在抄袭提供必要的透明度。

这是一个很好的观点。如果教育组织允许人工智能起草和生成内容(一些组织已经这样做了),学生仍然可能面临抄袭。

还必须指出的是,GPT-4生成的内容的分数会显示出较低的抄袭分数。

虽然大部分人工智能生成的内容可能仍然是使用GPT-3.5创建的(因为它是免费的),但GPT-4在生成原创作品方面无疑更有效。

然而,这又带来了另一层复杂性。

由于GPT—4是ChatGPT付费版本的一部分,接受或鼓励在教育中使用人工智能可能会歧视GPT—3.5用户,除非订阅获得补贴。

微妙的平衡

随着生成性人工智能工具被嵌入到学术环境中,教育工作者和学生都对它们的使用感到困惑。

CopyLeaks和Turnitin等内容分析公司已经开发出人工智能检测工具,可以预测一串单词何时可能是人工智能生成的。然而,这些都有明显的弱点,并存在误报的风险。

此外,人工智能检测软件已被证明, 非常喜欢英语母语写作因为它通常包含更高浓度的不同词汇和成语,以动摇人工智能检测器将文本标记为“人类书写”。

限制人工智能技术在学术界的使用并不容易。生成式人工智能被称为终极生产力工具,许多人认为,如果你能使用它,你就应该使用它。

学生们经常认为,如果这些工具在现实世界中是普遍存在的,他们也应该被允许在教育环境中使用。

此外,正如许多人所证明的,教育有时就是寻找创造性的捷径来完成事情。

你真的能指望学生把生成人工智能放在桌面上吗?

© 版权声明

相关文章

暂无评论

暂无评论...