研究表明:ChatGPT在编程问题上的回答错误率高达52%

2024年05月27日 由 samoyed 发表 216 0

OpenAIChatGPT这样的人工智能聊天机器人被宣传为革命性的工具,可以帮助员工更高效地完成工作,甚至可能在未来完全取代人类。但一项令人震惊的新研究发现,ChatGPT在回答计算机编程问题时,有52%概率是错误的。


20a525d15687b2770d2fc79aea5a8ea7


这项来自普渡大学的研究,首先被新闻网站Futurism发现,并在本月早些时候在夏威夷举行的计算机人机交互会议上进行了展示。研究团队从Stack Overflow上选取了517个编程问题,然后将这些问题输入到ChatGPT中。

 

我们的分析显示,ChatGPT的答案中有52%包含错误信息,77%则过于冗长,这项新研究解释说。尽管如此,由于ChatGPT答案的全面性和良好的语言表达风格,我们的用户研究参与者仍有35%的时间更倾向于选择ChatGPT的答案。

 

令人不安的是,研究中的程序员并不总是能发现AI聊天机器人产生的错误。然而,他们也有39%的时间忽视了ChatGPT答案中的错误信息,根据这项研究。这意味着需要纠正ChatGPT在回答编程问题时产生的错误信息,并提高人们对看似正确答案所伴随风险的意识。

 

显然,这只是一个可以在线阅读的研究,但它指出了任何使用过这些工具的人都能理解的问题。大型科技公司目前正在向人工智能投入数十亿美元,以提供最可靠的聊天机器人。Meta、微软和谷歌都在竞相争夺一个新兴市场的主导地位,这个新兴市场有可能彻底改变我们与互联网的关系。但面前仍有许多障碍。

 

其中最主要的问题是,人工智能经常不可靠,特别是当特定用户提出真正独特的问题时。谷歌新推出的基于人工智能的搜索功能经常会发布垃圾信息,这些信息通常来自不可靠的来源。事实上,本周已经多次出现谷歌搜索将《洋葱报》的讽刺文章作为可靠信息呈现的情况。

 

谷歌方面则坚持认为错误的答案是异常现象,为自己辩护。

 

我们看到的例子通常是非常罕见的查询,并不能代表大多数人的体验,谷歌发言人表示。绝大多数AI概述都提供了高质量的信息,并附有链接以便在网上深入挖掘。

 

但这种辩护很可笑用户只能向这些聊天机器人提出最平常的问题吗?当这些工具的承诺是革命性的时,这种错误怎么可能被接受?

文章来源:https://gizmodo.com/chatgpt-answers-wrong-programming-openai-52-study-1851499417
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消