在re:Invent大会上，伴随着大量热情，AWS介绍了Amazon Q，这是一个专为企业需求设计的生成式AI聊天机器人。公司声称，与OpenAI的ChatGPT相比，它更安全、更可靠。然而，与这些说法相反，Amazon Q因为各种错误的原因而成为众人关注的焦点。

发布仅三天后，员工对于聊天机器人的准确性和隐私问题的担忧日益增加。据报道，Q“存在着严重的幻觉”，并且被泄露了敏感数据，例如AWS数据中心的位置、内部折扣计划和未发布的功能。

无疑，亚马逊迅速发表声明说：“我们感谢已经收到的所有反馈，并将继续调整Q，使其从预览版产品过渡到普遍可用。”

Amazon Q的案例

在re：Invent大会上突出显示的是，员工可以使用Amazon Q在像Jira、Salesforce、ServiceNow和Zendesk这样的流行系统中完成任务，这是Amazon Q的独特之处。比如，一个员工可以要求Amazon Q在Jira中打开一个工单或在Salesforce中创建一个案例。

有趣的是，Amazon Q还没有发布，批评已经不断。作为预览版，它预计会进行必要的修正。

“公司需要认识到，要防止一个LLM（大型语言模型）出现幻觉是非常困难的。他们最好能将其尽可能控制在一定范围内。OpenAI对GPT-4所做的，是一项艰巨的工作，其他人可能不会那么容易模仿，“DeepTrading AI的创始人兼首席执行官Nektarios Kalogridis在谈到对Amazon Q的担忧时表示。

此外，我们不能直接将幻觉归咎于Amazon Q，因为它可以与Amazon Bedrock上发现的任何模型一起工作，AWS的AI模型库中包括了Meta的Llama 2和Anthropic的Claude 2。

公司表示，使用Q的客户通常会选择对他们来说效果最佳的模型，连接到该模型的Bedrock API，使用它来学习他们的数据、政策和工作流程，然后部署Amazon Q。因此，如果出现幻觉，可能是因为上述模型之一。

此外，ChatGPT也有泄露敏感信息的问题。最近，当被要求无限重复单词“poem”时，它泄露了私人和敏感数据。但这并没有阻止企业使用ChatGPT。

与Amazon Q类似，OpenAI的ChatGPT Enterprise也尚未推出。OpenAI的首席运营官Brad Lightcap在最近的一次采访中透露，“成千上万”的公司正在AI工具（ChatGPT Enterprise）的等待名单上。自11月以来，92%的财富500强公司已经在使用ChatGPT，这比8月份的80%有显著增长。

企业聊天机器人是未来

尽管有所提出的担忧，但Amazon Q带来了巨大的好处。

就像ChatGPT Enterprise一样，Amazon Q也将允许客户连接到他们的业务数据、信息和系统，这样它可以综合一切，并提供定制帮助，以帮助员工解决问题、生成内容和采取与他们的业务相关的行动。

上述特点是基于RAG的结果，RAG检索与问题或任务相关的数据，并将它们提供给LLM。然而，RAG带来了潜在数据泄露的风险，类似于Amazon Q所发生的情况。

沃顿商学院的教授Ethan Mollick表示，RAG有其自身的优势和劣势。“我说了很多遍，使用LLM建立带有RAG数据访问权限的客户服务机器人，并不像看上去那么简单。在事实上，这正好是当前LLM的弱点——既有幻觉的风险，也有数据外泄的风险。”

OpenAI在Devday上引入了Assistant API，其中包括一个名为“Retrieval”的函数，它只是一个RAG函数。这增强了助理从我们模型外获取知识的能力，如专有领域数据、产品信息或由您的用户提供的文件。

除了OpenAI和AWS，Cohere正与企业合作，整合生成人工智能功能。

Cohere是首先认识到RAG作为一种减少幻觉和保持聊天机器人更新方法重要性的公司之一。9月，Cohere推出了带有RAG的聊天API。借助这个新特性，开发者可以结合用户输入、数据源和模型输出，来创建强大的产品体验。

尽管对于幻觉和数据泄露的担忧不断提出，但企业也不能放弃生成式AI聊天机器人，因为它们肯定会随着时间的推移而变得更好，现在仅仅是个开始。