为什么ChatGPT变笨了?

2023年08月08日 由 neo 发表 534 0

不管你是亲自使用过ChatGPT还是从别处听说过,传言是真的,ChatGPT正在变得越来越笨。


gettyimages-1572426293

这种现象非常令人困惑,因为生成式AI模型会利用用户的输入来不断地训练自己,这应该让它们随着时间积累更多的用户数据而变得更聪明。

答案可能在于一个叫做“漂移”的概念。

“漂移”是指大型语言模型(LLMs)以一种偏离原始参数的意外或不可预测的方式表现出来。这可能是因为试图改进复杂AI模型的某些功能导致其他部分表现变差。

加州大学伯克利分校和斯坦福大学的研究人员进行了一项研究,评估了漂移现象,并检查了ChatGPT的流行大型语言模型(LLMs),GPT 3.5(ChatGPT背后的LLM)和GPT-4(Bing Chat和ChatGPT Plus背后的LLM)在时间上的变化。

该研究比较了两种LLM在解决数学问题、回答敏感问题、回答意见调查、进行代码生成、医疗执照考试和完成视觉推理任务方面的能力,分别在三月和六月进行。

screenshot-2023-08-07-at-12-58-08-pm

从上面的研究结果可以看出,GPT-4的三月版本在很多方面都优于六月版本,最明显的是基本数学提示,其中GPT-4的三月版本在两个例子(a)和(b)中都优于六月版本。

GPT-4在代码生成、回答医学考试问题和回答意见调查方面也变得更差。所有这些情况都可以归因于漂移现象。

关于漂移,其中一位研究人员James Zou告诉《华尔街日报》,“我们怀疑这种情况可能会发生在这里,但我们对漂移发生的速度感到非常惊讶。”

尽管智力下降了,但GPT-4和GPT-3.5也有一些改进的地方。

因此,研究人员鼓励用户继续使用LLM,但要谨慎使用,并不断评估它们。

文章来源:https://www.zdnet.com/article/what-is-a-ai-drift-and-why-is-it-making-chatgpt-dumber/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消