每当提到大型语言模型 (LLM) 功能时，ChatGPT 一词就变得无处不在。要了解 Coral 所属的类别，有必要快速概述一下法学硕士服务的三个类别。

原始模型

有很多开源的LLM，例如Bloom、Meta的Llama 2、Anthropic的Claude、Falcon LLM等。这些模型可以免费下载和使用。

然而，在将这些模型投入运行状态中，需要考虑许多因素，比如托管、训练、运行考虑等等。

LLM API

大多数用户通过一些公司提供的API端点访问LLM，例如OpenAI、Cohere、AI21Labs等。

通常这些端点指向一个特定模式，在OpenAI的情况下是助手、聊天、编辑或完成模式。

以下是调用OpenAI完成URL的一个例子。

curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
     "model": "gpt-3.5-turbo",
     "messages": [{"role": "user", "content": "Say this is a test!"}],
     "temperature": 0.7
   }'

然而，开发者无法洞察调用API时后台发生的情况。OpenAI为用户引入了模型指纹功能，以便跟踪任何底层模型的变化。

生成型AI应用，也称为GenApps，是基于这些API构建的。一个通过API访问的大型语言模型（LLM）或多个LLM作为这些生成型应用的支撑。

用户界面

主要的大型语言模型提供商已经分化为两类产品：API和最终用户界面。最终用户界面的例子包括HuggingChat、ChatGPT（可能是最著名的界面之一）以及Cohere的Coral。

这些用户界面专注于无代码、可配置、易于访问和定制的用户体验。

随着大型语言模型提供商提供的标准功能的增长，那些开发第三方LLM用户界面的公司面临被取代的风险。特别是如果他们的产品缺乏真正的差异化，并且只包含非常薄的知识产权和增值层。

Coral

定位

在右侧面板，Coral有一个名为定位（GROUNDING）的功能，该功能可以开启或关闭。在下面的图像中，定位被设置为关闭。

如下所示，当询问一个高度时间敏感的问题时，Coral给出了一个恰当的答案，说明模型训练的截止日期是2023年1月。

当定位关闭时，对话100%基于底层的大型语言模型或模型们。

当按照下图中的绿色箭头开启接地时，Coral会自动参考网络，并列出它为回答与天气相关的问题所使用的两个参考资料。

再次考虑下面的图片，Coral引用了网上的五个来源来回答这个问题。这里有很多事情在进行，Coral从网络上的各种来源提取信息。然后综合相关信息，并通过自然语言生成技术以一种连贯简洁的方式呈现结果。

RAG（检索增强生成）

RAG的原理是相当直接的，其中提取一个高度上下文相关的文本片段，并在推断时注入到提示中。

这促使了在上下文中学习，而上下文参考减少了幻觉并改善了上下文相关性。

RAG的实现可能变得非常复杂和技术性强，但最简单的实现形式仅仅是上传一个文件，平台在推断期间参考该文件。

正如下面所见，上传了一个包含高度上下文事实的文本文件。当提出一个与文件相关的问题时，Coral引用数据文件，而不访问网络。

Coral拥有多种后续操作选项，包括快速回复按钮和下一个问题建议。

工具

在OpenAI Assistant的背景下，此助手将辅助功能称为工具，Cohere选择了“连接器”这个术语。如下所示，当前有两种连接器，即网页搜索和文件（RAG）。

Coral自动执行编排，并以无缝方式选择一个或多个连接器。在这个意义上，Coral确实有作为一种拥有各种工具访问权限的代理的感觉。

下面两种工具类型或连接器分别用数字一（网页搜索）和数字二（RAG/文件）标记。

我想象Cohere将来会为Coral引入更多连接器。企业客户可能会带头开发定制的连接器。

总结

Coral能够阅读多个来源，尽可能真实地回答问题，并在你需要检查准确性时提供来源引用。

Cohere警告说，当Coral被引导时，它回答创造性问题的能力可能会变差。

对于Cohere来说，Coral是服务企业客户需求的理想工具。

Cohere认为Coral的关键特性如下：

• 会话性：Coral以对话作为主要界面，理解会话背后的意图，并保持对话上下文。
• 可定制性：用户可以通过数据连接增强Coral的知识库。
• 有根据性：为了帮助验证生成的信息，Coral可以提供引用相关数据来源的回应。
• 隐私性：用于提示的数据和聊天机器人的输出不会离开公司的数据边界。