纽约律师史蒂文·A·施瓦茨(Steven A Schwartz)使用ChatGPT研究了几个被证明是虚假的案件。
施瓦茨的案件涉及一名男子起诉哥伦比亚航空公司Avianca。原告与一个法律团队Levidow，Levidow & Oberman合作，他们准备了一份法律摘要，引用了完全虚假的法律案件。
Schwartz要求ChatGPT确保这些案例是真实的，但他只尝试交叉检查其中一个案例的细节，ChatGPT向他保证可以在Westlaw和Ltdnexis数据库中找到它。在此基础上，施瓦茨假设其他案件也是真实的。
后来发现，只有一起案件是真实的，Zicherman诉大韩航空公司，516 U.S.217（1996）而ChatGPT错误地引用了日期和其他几个细节。
在原告团队提交案情摘要后，其中一名收件人，美国地区法官凯文·卡斯特（Kevin Castel）表示，“提交的案件中有六个似乎是虚假的司法判决，带有虚假的引用和虚假的内部引用。
之一 法庭记录说，“法院面临前所未有的情况。原告律师提出的反对驳回动议的陈述充满了对不存在案件的引用。
法院对施瓦茨提交的虚假案件的答复。资料来源：法院监听者。
Schwartz有30年的律师经验，他辩称这是一个无辜的错误，告诉法庭他“非常后悔”使用ChatGPT进行研究，并且“不知道其内容可能是错误的”。他还承认在其他法律案件中使用ChatGPT。
施瓦茨代表同一家律师事务所的同事彼得·勒多库（Peter LeDocu）行事，他将于6月8日出庭，解释为什么他和他的律师事务所不应该受到制裁。
ChatGPT检查ChatGPT时
OpenAI很清楚，ChatGPT很容易歪曲事实，但当提供与上下文相关的不真实的“例子”时，AI可以给人以自信的印象–也被称为“幻觉”。
这在学术界也是一个问题，ChatGPT经常产生错误的引用，有时甚至制造从未发生的现实研究和实验。
许多大学发表声明强调了这一点。例如， 杜克大学声明“您可能不知道ChatGPT作为一个可靠的研究助手有很大的局限性。一个这样的限制是，已知它会伪造或“幻觉”（用机器学习术语）引用。
分析参考文献中的不一致性已成为教师抓住学生使用ChatGPT撰写论文的可靠方法。
这正是施瓦茨发生的事——他被抓住了。他不是第一个也不会是最后一个他似乎真的无知，但无知并不一定构成法庭上的辩护。
生成虚假的法律引用是ChatGPT错误的一个令人担忧的例子，并且是一个有力的提醒，要检查、双重检查和三重检查生成AI所吹捧的“事实”。
