人工智能幻觉可能没有那么糟糕

2023年09月15日 由 samoyed 发表 184 0

“葡萄酒可以预防癌症,”ChatGPT说。Bard认为,“氢瓶计算化”(作者编造的词,Hydrobottlecatputalization)将彻底改变交通运输。在长达两个小时的对话中,Bing向《纽约时报》作家Kevin Roose表白。


这些数据增强的统计AI系统能够用任何语言编写代码订购比萨,但有时它们会编造东西。这些过度自信的模型无法区分正确的东西和看起来正确的东西。


The-Secret-to-Reducing-LLM-Hallucinations-Lies-in-the-Database-by-Anirudh-_副本


微软首席技术官Kevin Scott表示,这是学习过程的一部分。他说:“你越想把它引到幻觉的道路上,它就越远离现实。”同样,对于AI研究人员来说,这个话题长期以来一直困扰着他们。虽然有些人已经宣称解决幻觉问题的办法不存在,但其他人仍在努力寻找如何防止聊天机器人离开正轨的方法。


17世纪创造的术语“hallucination”在2015年引起了计算机科学家的注意,当时OpenAI的Andrej Karpathy写了一篇关于AI系统如何产生“hallucination”的博客,比如编造看似合理的网址和数学证明。这个术语在谷歌的研究人员于2018年发表的一篇会议论文中被采用,“神经机器翻译中的幻觉”(Hallucinations in Neural Machine Translation),该论文分析了自动翻译如何产生与输入完全无关的输出。


尽管幻觉问题主要与语言模型相关,但它也影响到音频和视觉模型。南卡罗来纳大学(University of South Carolina)人工智能研究所的三名研究人员对这些基础模型进行了彻底调查,以确定、澄清和解决幻觉问题。


他们的研究建立了判断幻觉发生频率的标准,并且还研究了目前用于减少这些模型中问题的方法,并讨论了未来研究如何解决这个问题。


创造性的替代方案


尽管大多数研究界已经对这些模型的谎言感到厌烦,但一些研究人员提出了一种替代哲学。他们认为,这些模型“发明”事实的倾向可能并不都是缺点。


伦敦玛丽女王大学(Queen Mary University)的博士研究员Sebastian Berns就是这样认为的。他认为,容易产生幻觉的模型可能会成为有价值的“共创伙伴”。例如,如果增加ChatGPT的温度,模型会产生富有想象力的叙述,而不是基于事实的回答。


根据Berns的观点,这些模型可能会生成并不完全准确但却包含有用思路的输出。利用幻觉的创造性可以得到意想不到的结果或思路的组合,这些结果或思路可能不会在大多数人的脑海中自然产生。


Berns还强调,当生成的陈述事实不正确或触犯基本的人类、社会或特定的文化价值观时,“幻觉”就变得有问题了。例如人们依赖模型提供的意见,幻觉就是一个很大的问题。然而,对于创造性的任务来说,产生意想不到的回答的能力可能非常有价值。当人们得到非传统的回答时,会感到惊喜,并使他们思考不同观点之间联系。


有问题的术语


人工智能胡说八道的事实是不可避免的,因为它不是一个搜索引擎或数据库,但不可否认,它仍然是一项技术创新。尽管“幻觉”这个术语在媒体、科技博客和研究论文中很常见,但是在许多人看来是不合适的。


牛津大学的研究人员在最新一期的《精神分裂症公报》上发表了一篇名为“人工智能模型的错误反应不是幻觉”的文章。他们并不是第一批发现“幻觉”一词不适用于一项技术的人。Søren Østergaard和他的同事Kristoffer Nielbo指出他们认为这个术语有问题的两个原因。


虽然许多研究人员从各个角度研究这个问题,但他们大多数人主要是在努力解决聊天机器人编造事实的问题。然而,OpenAI警告称,如果聊天机器人变得更擅长提供准确的信息,这种“幻觉”可能会变得更加危险。这是因为用户可能会过于依赖聊天机器人,特别是在他们的专业领域,因为聊天机器人提供的都是正确的信息。

文章来源:https://analyticsindiamag.com/hallucinations-are-bothersome-but-not-that-bad/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消