新的ChatGPT检测器识别人工智能撰写的学术论文

AI伦理与社会7个月前发布 yundic
427 0 0

一种新的机器学习模型击败了化学领域的人工智能文本检测模型。

这项研究于1999年发布, Cell报道物理科学描述了一个AI文本分类器,它超越了其他两个流行的AI检测系统,包括ZeroGPT。

该模型仔细检查了20个写作风格特征,如句子长度的变化和特定的单词和标点的使用,以评估一篇文章是由学术还是由ChatGPT撰写的。

研究人员根据美国化学学会(ACS)的10本化学期刊上发表的100篇论文的引言对模型进行了训练。然后,研究人员促使ChatGPT—3.5以与ACS期刊一致的风格制作了200篇引言,其中一半为标题,另一半为摘要。

在评估后,检测器根据标题100%地识别了ChatGPT撰写的介绍。当分析由摘要生成的引言时,准确率略微降低到98%。

探测器的熟练程度甚至与来自GPT—4模型的文本一致。它与ZeroGPT和OpenAI的文本分类工具进行了比较,两者的准确率都明显较低。

这项研究的合著者,劳伦斯堪萨斯大学的化学家希瑟·德赛尔强调了他们工具的独特之处,“大多数文本分析领域都想要一个真正通用的检测器,可以对任何东西起作用。我们真正追求的是精确度,我们制造了一种专注于特定类型纸张的工具。

虽然该工具在各种期刊风格和提示中显示出了它的优势,但它高度专门用于科学文章,对来自大学报纸的材料效果不佳。

由于人工智能只应用于引言和摘要,它无法有效地处理整篇论文。

更多关于这项研究的信息

考虑到现有的人工智能书写检测器性能不佳,以及它们引发的争议,任何准确率接近100%的模型确实非常有趣。

  • 这款人工智能文本检测器是为科学期刊文章,特别是化学期刊设计的,在区分人类和人工智能生成的文本(包括GPT-4文本)方面表现出了非凡的准确性。
  • 该检测器采用基于20个不同文本特征的XGBoost机器学习算法,优于现有的人工智能检测工具,准确率为98%—100%。
  • 该工具在各种测试场景中成功地识别了人工智能生成的文本,即使有旨在隐藏人工智能使用的提示,表明了对不同写作风格和复杂性的鲁棒性。

然而,对于这样一个小的训练数据集,你不得不说这种方法似乎容易受到过度拟合的影响,这意味着模型可能对所使用的数据非常好,但在此之外表现出较差的性能。

此外,在模糊的情况下,可能存在一种隐性的倾向,即将文本标记为人类书写,因为检测器正在开发以捕获人工智能生成的文本,可能会优先考虑假阴性而不是假阳性。

© 版权声明

相关文章

暂无评论

暂无评论...