不管你是亲自使用过ChatGPT还是从别处听说过,传言是真的,ChatGPT正在变得越来越笨。
这种现象非常令人困惑,因为生成式AI模型会利用用户的输入来不断地训练自己,这应该让它们随着时间积累更多的用户数据而变得更聪明。
答案可能在于一个叫做“漂移”的概念。
“漂移”是指大型语言模型(LLMs)以一种偏离原始参数的意外或不可预测的方式表现出来。这可能是因为试图改进复杂AI模型的某些功能导致其他部分表现变差。
加州大学伯克利分校和斯坦福大学的研究人员进行了一项研究,评估了漂移现象,并检查了ChatGPT的流行大型语言模型(LLMs),GPT 3.5(ChatGPT背后的LLM)和GPT-4(Bing Chat和ChatGPT Plus背后的LLM)在时间上的变化。
该研究比较了两种LLM在解决数学问题、回答敏感问题、回答意见调查、进行代码生成、医疗执照考试和完成视觉推理任务方面的能力,分别在三月和六月进行。
从上面的研究结果可以看出,GPT-4的三月版本在很多方面都优于六月版本,最明显的是基本数学提示,其中GPT-4的三月版本在两个例子(a)和(b)中都优于六月版本。
GPT-4在代码生成、回答医学考试问题和回答意见调查方面也变得更差。所有这些情况都可以归因于漂移现象。
关于漂移,其中一位研究人员James Zou告诉《华尔街日报》,“我们怀疑这种情况可能会发生在这里,但我们对漂移发生的速度感到非常惊讶。”
尽管智力下降了,但GPT-4和GPT-3.5也有一些改进的地方。
因此,研究人员鼓励用户继续使用LLM,但要谨慎使用,并不断评估它们。