一项新的研究表明，在人工智能检测软件中，可能存在对非英语母语人士的偏见。
的 研究 超过一半的非英语人写的文章被错误地标记为人工智能生成。这种假阳性的影响是重大的，特别是对学生和求职者。
该研究测试了7种广泛使用的人工智能文本检测器，这些检测器来自非英语母语人士撰写的文章。结果表明假阳性率很高，这些片段被错误地归类为人工智能生成。
斯坦福大学生物医学数据科学助理教授James Zou领导的团队通过七个流行的GPT检测器对非英语母语人士撰写的91篇论文进行了测试。
这些为全球公认的TOEFL（英语作为外语的测试）撰写的论文，超过一半被错误地标记为人工智能生成。在一个案例中，一个程序甚至将98%的论文标记为人工智能创建。
相比之下，当该软件分析来自美国、以英语为母语的八年级学生的作文时，超过90%的作文被正确识别为人类创作的作文。
人工智能检测器因惩罚假阳性的个体而受到广泛批评，尽管有些检测器比其他检测器差得多。
这项研究的主要发现之一是，人工智能检测器经常难以准确解释非英语母语人士使用的表达方式。
这些系统主要针对以英语为母语的人的数据进行培训，导致它们将某些短语或结构标记为不正确，仅仅是因为它们偏离了被认为是英语母语的用法。
非英语母语人士面临潜在的歧视
这意味着深远。非英语母语人士在通过教育机构使用的自动评分平台提交作品时可能面临挑战。
此外，歧视性算法可能会不公平地惩罚母语不是英语的学生，使课堂上的社会不平等现象长期存在。
作者总结说，“我们强烈警告不要在评估或教育环境中使用GPT检测器，特别是在评估非英语母语人士的工作时。
但为什么人工智能检测算法会被非英语母语文本所阻碍？
人工智能检测器依赖于“文本困惑”是一种衡量生成性语言模型预测句子中下一个单词的程度的指标。低困惑表示容易预测，而高困惑表示句子较难预测。复杂的单词、短语、明喻、隐喻和习语会提高困惑分数，这是非英语母语作家可能缺乏的。
人工智能倾向于输出更可预测的单词序列。因此，人类在熟悉的模式中使用常用词，有可能他们的工作被误认为是人工智能生成的文本。
当然，这不仅仅包括非母语的书面文本，还包括以特定风格或阅读水平编写的文本。例如，设计为高度可读的文本有被标记的风险。
具有讽刺意味的是，在识别出这种固有的偏见后，研究人员使用ChatGPT重写了使用更复杂的语言标记的托福论文。
一旦通过人工智能检测器再次处理，所有编辑的文章都被标记为人工撰写。这一结果强调了一个有点矛盾的情况—这些检测器可能无意中鼓励非本地作家更多地使用人工智能来逃避检测。
教育工作者依靠的不仅仅是人工智能探测器来打击抄袭。他们在课堂上进行额外的写作任务，更深入地研究参考用法及其准确性，并分析引用的真实性。
与此同时，教育机构正在为人工智能的使用和管理制定规则，包括英国的罗素大学集团，该集团最近发布了一份关于人工智能的联合声明。
