新的研究表明,ChatGPT可以在特定的学科领域胜过学生,在这个过程中愚弄老师,并躲避人工智能检测器。
纽约大学阿布扎比分校的亚西尔·扎基领导的一项研究发现,在32个受试者中,有9个人在ChatGPT上的回答与学生的回答相同或超过了学生的回答质量。
值得注意的是,在一门名为《公共政策入门》的课程中,聊天机器人的得分几乎是普通学生的两倍。
然而,人工智能的装甲也存在漏洞,因为ChatGPT在处理需要“批判性分析”的任务时很吃力。我们不要忘记,人类学生通常主导了诉讼程序。
即便如此,人工智能产生的工作和人类工作之间的差距正在缩小,这对教育部门和整个人类知识系统产生潜在的巨大影响。
有趣的是,ChatGPT在需要编程和计算机科学技能或知识的任务上相当差,但在社会研究、政治和工程方面表现出色。
ChatGPT擅长工程相关主题,这里的绿色标记代表。资料来源:自然。
这32门学科涵盖了计算机科学、数学、社会学、心理学、政治学和商业等学科。此外,该研究还调查了巴西、印度、日本、英国和美国等五个国家的学生和教育工作者,以评估他们对该技术在教育中的应用的看法。
扎基说:”这些评分员没有意识到这些答案的来源,也没有意识到评分的目的。”
“ChatGPT在需要信息回忆的问题上表现得更好,但在需要批判性分析的问题上表现不佳,”Zaki说。
此外,研究人员发现,人工智能检测服务很难区分人类和人工智能生成的答案,成功率为95%。
这项调查探讨了学生和教师在教育领域对人工智能的看法,暴露了使用人工智能是否构成抄袭的两极分化。
伦敦帝国理工学院的托马斯·兰开斯特(Thomas Lancaster)对这项研究的影响进行了分析。据他说,研究结果暴露了当前大学评估方法的缺陷。“如果[使用ChatGPT]可能得到[更好的答案],这表明评估设计存在缺陷。
主要发现
这项多方面的研究调查了ChatGPT的性能,并收集了有关该技术定性意见的更多信息。
以下是主要发现:
- 学习成绩:ChatGPT在8个学科的32门课程中有9门的表现与大学生不相上下或更好。
- 缺乏检测算法:目前的算法,包括GPTZero,旨在检测ChatGPT生成的文本,基本上是无效的。这些算法不仅将人工答案错误分类为人工智能生成的内容,还无法正确识别ChatGPT生成的内容。
- 学生和教师的看法:学生和教育工作者在使用ChatGPT的道德含义上存在明显的脱节。绝大多数学生打算在学校作业中使用该工具,而教育工作者则倾向于将其使用视为剽窃。
- 全球视角:来自五个国家(巴西、印度、日本、英国和美国)的受访学生和教育工作者对ChatGPT的
人工智能在教育中的作用 已经发展成了一场激烈的辩论,学生们也许最好地利用这项技术,而教育工作者更新他们的理解。
这导致了一些尴尬的情况,比如德克萨斯州农工大学的一位教授拒绝标记 他认为他们是人工智能生成的。
有一件事是肯定的:人工智能将更加牢固地嵌入教育,无论是积极的还是消极的。