5月下旬，纽约律师Steven A Schwartz使用ChatGPT代表客户研究法律案件。
施瓦茨和同一家律师事务所的同事彼得·洛杜卡周四出现在法官面前，解释他们的行为。
在听证会上，两位律师都承认引用了ChatGPT生成的虚假法律案件。
Schwartz使用ChatGPT查找法律判例，以支持客户针对哥伦比亚航空公司Avianca的案件， 退回了几个假案件和一个真案件 细节发生了巨大变化
施瓦茨在原告的辩护状中引用了这些，但当美国地方法官凯文·卡斯特收到时，他很快注意到， 他说，“提交的案件中有六个似乎是虚假的司法判决，有虚假的引用和虚假的内部引用。
“我不明白ChatGPT可以伪造案例，”施瓦茨向卡斯特承认，他“在一种误解下操作……这个网站是从我无法访问的某个来源获得这些案例的。
卡斯特尔法官与他们对质的是一个特殊的捏造的法律案件，施瓦茨本应认为这是虚假的。这起案件最初被描述为不当死亡案件，但后来转变为一名男子错过航班并被迫支付额外费用的案件。
换句话说，即使对一个外行来说，很可能很明显这种情况是错误的，所以施瓦茨可能没有正确阅读人工智能的输出。“我们能同意这是法律上的胡言乱语吗？”卡斯特尔在谈到此案时表示。
施瓦茨道歉，“我想真诚地道歉”，并说他感到“尴尬，羞辱和极度尴尬”。
LoDuca承认他没有充分审查施瓦茨汇编的材料。他说：“我从来没有意识到这是一个虚假的案件”，结果“让我痛苦不已”。
至于两人是否会受到惩罚，律师罗纳德·明科夫认为，两人的行为“是由于疏忽，而不是恶意”，因此不应该受到惩罚。
明科夫认为，“施瓦茨先生几乎不做联邦研究，选择使用这项新技术。他以为自己在和一个标准的搜索引擎打交道。
对制裁的最终裁决仍在等待中。
人工智能“幻觉”带来了道德和法律问题
一系列法律案件正在冲击OpenAI，其中包括三起潜在的诽谤案件，当时ChatGPT的输出包含虚假和诽谤信息。
这里的结果是不同的。这是从ChatGPT的输出中获取建议而导致的不当行为的一个例子。
威廉与玛丽法学院法律与法院技术中心兼职教授兼研究助理主任Daniel Shin表示：“这是第一个记录在案的律师使用产生式人工智能可能存在职业不当行为的案例。”
有人犯这个错误只是个时间问题。施瓦茨碰巧是第一个(据我们所知)他可能没有想到会开创先例的人。
