没有检测器可以“可靠地区分人工智能生成的内容和人类生成的内容”。
上周,OpenAI在一篇推广博客文章中为教育工作者发布了一些技巧,展示了一些教师如何使用ChatGPT作为一种教育辅助工具,以及如何开始使用的建议提示。在一个相关的常见问题解答中,他们也正式承认了我们已经知道的事情:尽管人工智能写作检测器经常被用来检测学生的作业,但它其实并不准确。
OpenAI在常见问题解答“人工智能检测器能起作用吗?”中写道:“简而言之,不能。虽然一些公司(包括OpenAI)已经发布了声称可以检测人工智能生成内容的工具,但这些工具都没有被证明能够可靠地区分人工智能生成的内容和人类生成的内容。”
由于依赖于未经证实的检测指标,像GPTZero这样的检测器经常产生误报。最终导致人工智能编写的文本与人类编写的文本没有什么区别,并且使用者可以通过重新措辞来骗过检测器。同月,OpenAI停止了它的人工智能分类器,这是一个可以检测人工智能编写文本的实验工具。它的准确率只有糟糕的26%。
OpenAI的新FAQ还解答了另一个很大的误解,即ChatGPT本身可以知道文本是否是人工智能编写的。OpenAI写道:“此外,ChatGPT不知道什么内容是由人工智能生成。它有时对类似‘这篇文章是你写的吗?’或者‘这是人工智能写的吗?’这样的问题的反应是随机的,没有事实依据。”
沿着这个思路,OpenAI还解答了其人工智能模型捏造虚假信息的倾向,该公司写道:“有时候,ChatGPT的答案听起来很有说服力,但它可能会给你不正确或误导性的信息(在文献中通常被称为‘幻觉’)。”“它甚至可以编造引用之类的东西,所以不要把它作为你唯一的研究来源。”
今年5月,一名律师就因为这么做而惹上了麻烦——他从ChatGPT上摘取了6个不存在的案例。
尽管自动化的人工智能检测器不起作用,但这并不意味着人类无法判断出人工智能生成的内容。例如,熟悉学生典型写作风格的老师可以感觉到他们的风格或能力的突然改变。此外,一些粗心的人在将人工智能生成的工作冒充人类编写的工作时可能会留下一些痕迹,例如短语“作为人工智能语言模型”,这意味着他不小心复制并粘贴了ChatGPT的输出。
就目前的技术而言,完全避免使用自动人工智能检测工具是最安全的选择。“到目前为止,人工智能写作是无法检测的,而且很可能会一直如此,”沃顿商(Wharton)学院教授Ethan Mollick表示。“人工智能检测器的错误率很高,因此不应该使用它们。”