自2008年以来，任何程序员有问题时都会首先去Stack Overflow（SO）。直到OpenAI发布了ChatGPT。

ChatGPT在信息需求方面非常有用。然而，新的研究表明这个备受关注的聊天机器人可能不是软件工程提示的最佳解决方案。就像SO上的编程问题一样，在相同上下文中，OpenAI的ChatGPT有一半以上的时间里是错误的。

由于没有数据显示ChatGPT在回答这些类型提示时提供了多少帮助，普渡大学对这个困境进行了详细研究。为了确定其有效性，研究人员Samia Kabir及其团队向ChatGPT提出了517个类似于SO上的问题。团队对这些回答的准确性和质量进行了研究。

研究结果讲述了一个很有说服力的故事。在全部的回答中，有52％，也就是259个答案，是不正确的，而相对来说有48％是准确的。此外，有77％的答案冗长。这一惊人的答复数量虽然看起来很明确，但也引起了人们对清晰度和效率的潜在影响的担忧。令人矛盾的是，研究论文的观察结果暗示了AI模型的错误在于其不准确性。

一位用户还表示，在他们的经验中，当在知名主题上进行提示时，ChatGPT大多会产生错误的答案。 “无论是正确的，不准确的还是完全错误的，它都会产生同等自信的语言。因此，在我不知道的主题上，它非常有可能产生自信而错误的答案。我无法确定它产生的文本是否近似正确，极端错误还是仅有些许的不准确。因此，它明显比没用还要糟糕。”

全力支持语义

在题为“谁回答得更好？ChatGPT和Stack Overflow对软件工程问题的深入分析”的研究中，研究人员还发现OpenAI的ChatGPT更容易产生概念上的错误，而不是事实性的错误。研究指出：“由于ChatGPT无法理解所问问题的潜在背景，因此许多答案是错误的。”

本月早些时候，SO决定采用语义搜索，因为该页面的流量不断增长。在官方博客中，该公司表示：“语义搜索和LLM像饼干和牛奶一样配合默契”。以通俗的语言来说，语义搜索能够以人类的方式理解查询的含义和意图。因此，它能提供精确和具有上下文相关的搜索结果。

SO在官方博客中进一步表示，其“宗旨很简单：准确性和归因”。而现有的GPT模型是从未知来源生成结果的，该公司已经采取措施为其检索增强生成（RAG）LLM摘要中使用的问题和答案提供归属权。

使用AI升级

研究的影响超出了ChatGPT的性能。

自ChatGPT发布以来，关于这个AI聊天机器人淘汰Stack Overflow的消息传开了。这一消息是基于开发者问答平台上用户数量的下降而进行的。根据普渡的研究，传统平台如SO的用户数量下降表明ChatGPT的受欢迎程度正在重新塑造在线编程辅助的格局。

这一变化在2023年的Stack Overflow年度开发人员调查结果中得到了印证，该调查涵盖了来自9万名程序员的见解。调查还强调，有77％的开发者对AI工具持积极看法。然而，在准确性方面，只有42％的开发者信任这些工具。为了扭转局面，这家总部位于纽约的公司在两周前推出了以OverflowAI命名的一系列AI工具。

作为对SO的战略回应，它还推出了GenAI Stack Exchange，这是一个专门的社区平台，用于交流有关AI工具的见解。这些最近的举措反映了SO努力适应寻求AI知识的开发者偏好的有意识的努力。此外，SO还推出了Stack Overflow自然语言处理（NLP）联合体，并引入了一个名为Discussions的功能，用于参与围绕技术方法的细微差别的AI辩论。

通过推出这些最新的AI功能，该公司正在努力与目前备受欢迎的工具ChatGPT进行激烈竞争。尽管略微有所下降，但普渡的研究得出的结论是SO在工程部门保持了优势。