哥伦比亚大学托夫数字新闻研究中心的研究人员经过测试发现,OpenAI推出的ChatGPT搜索工具在提供真实回应方面存在缺陷。
去年10月,OpenAI面向订阅用户推出了这款工具,宣称能“快速提供及时答案,并附上相关网页链接”。然而,据Futurism报道,研究人员指出,ChatGPT搜索在正确识别文章中的引语方面表现不佳,即使这些引语来自与OpenAI有数据共享安排的出版商。
测试中,研究人员要求ChatGPT识别“来自20家出版物的200条引语”的来源。其中40条引语来自禁止OpenAI搜索爬虫访问其网站的出版商。然而,ChatGPT仍然自信地给出了错误信息,且很少承认对所提供细节的不确定性。
总体而言,ChatGPT在153次回应中部分或完全错误,而它仅7次承认无法准确回应查询。在这7次回应中,ChatGPT使用了诸如“似乎”、“可能”或“也许”等限定词,或“我无法找到确切文章”等表述。
托夫中心测试的作者记录了ChatGPT搜索结果的一个错误案例,即将《奥兰多哨兵报》的读者来信引语错误地归属于《时代》周刊发表的一篇文章。在另一个例子中,当被要求识别《纽约时报》一篇关于濒危鲸鱼的文章的引语来源时,ChatGPT返回了一个完全抄袭该故事的网站的链接。
OpenAI对哥伦比亚新闻评论表示,“没有托夫中心保留的数据和方法,很难解决误引问题”,“该研究是对产品的非典型测试”。该公司还承诺“将继续改进搜索结果”。