生成式人工智能備受注目，部分企業更開始引入 ChatGPT，期望可以幫助提升員工生產力。不過 GPT 的回答「做假」問題是引入時要留意的地方。最近美國紐約州南部聯邦地方法法院就判罰一名律師 US$5,000，原因是他用 ChatGPT 製作，提交給法院的文件中，竟然引用了現實上不存在的判例。
被罰的律師 Steven A. Schwartz 在負責一宗航機上糾紛的案件中，使用 ChatGPT 來找尋類似的判例，誰知生成的答案中當中混入了實際上不存在的資料，而他卻沒想過 ChatGPT 會給他不實的答案。本來律師事務所有另一位律師負責對提交給法庭的文件進行把關複核，不過他就相信了 Schwartz，沒有對文件進行詳細確認，卒之就被法庭抓著了。
法庭的判辭表示，科技進步是司空見慣的，使用可靠的人工智能來協助本質上並無不妥。不過法庭亦要求律師事務所要做好把關，確保文件的準確性。而 Schwartz 所屬的律師事務所就放棄了責任提交由 ChatGPT 生成的虛假引證，並且在法庭對他們的司法意見提出質疑時仍堅持。
法庭指 US$5,000 並不是懲罰或者補償，而是為了產生威懾力，避免同樣問題再次發生。