Mistral AI是一家位于巴黎的AI创业公司，它在六月份就筹集了超过1.13亿美元的资金，虽然它还没有推出一个真正的产品。上周，人们还在关注Gemini，但是这周，Mistral AI就凭借其最新的模型Mixtral 8x7B成为了焦点。这个模型是稀疏混合专家（SMoE）与开放权重的结合，它通过X上的一个磁力链接进行了分享。

Mistral AI引人注目

Mistral AI的最新模型，8X7B，基于MoE架构，可以与其他流行的模型，如GPT 3.5和Llama 2 70B相比肩。Mixtral在Apache 2.0下获得了许可，它在大多数基准测试上都超过了Llama 2 70B，推理速度提高了6倍。

Mistral AI把自己定位为“混合专家”。这是一个聪明的营销手段，考虑到OpenAI从去年开始就一直在用同样的方法来训练GPT-4。然而，不知怎么的，Mistral AI的最新模型突然受到了欢迎。

混合专家使模型能够以更少的计算量进行预训练，这意味着您可以在相同的计算预算下，大幅提升模型或数据集的规模，而不像密集模型那样。

它是一个只有解码器的模型，其中前馈块从一组 8 个不同的参数组中选择。在每一层，对于每一个 token，一个路由网络选择其中两个组（“专家”）来处理 token，并将它们的输出加性地结合。

这种方法在管理计算开销和处理时间的同时，增加了模型的参数数量。具体来说，Mixtral 拥有总共 467 亿个参数，但它对于每个 token 有效地只使用了 129 亿个参数。因此，它以与 129 亿参数模型相当的速度和成本效率处理输入和产生输出。

然而，OpenAI 的科学家 Andrej Karpathy 说，“8x7B”这个名字有点误导，因为并不是所有的 7B 参数都被 8 倍化了，只有 Transformer 中的前馈块被 8 倍化了，其他的都保持不变。因此，总参数数量也不是 56B，而只是 46.7B。

Mistral AI掌握商业

这家位于巴黎的创业公司正如日中天，它还宣布获得了 4.15 亿美元的融资，估值达到了 20 亿美元。Andreessen Horowitz（a16z）牵头了最新的融资轮，Lightspeed Venture Partners 也进行了续投。

开源的 LLM 公司通常很难维持其业务。为了克服这一点，Mistral AI 最近推出了“La Plateforme”，在这里它将为其可用的模型提供 API 端点。

这家公司为其模型创建了三个类别——Mistral Tiny，Mistral Small 和 Mistral Medium。Mistral 7B Instruct v0.2 和 Mixtral 8x7B 分别属于 Mistral Tiny 和 Mistral Small。有趣的是，Medium 模型还没有发布。

Mistral AI表示，它目前正在开发 Mistral Medium，这是一款基于标准基准测试的顶级服务模型。它精通英语、法语、意大利语、德语、西班牙语和代码，它在 MT-Bench 上获得了 8.6 的分数。从理论上讲，它甚至击败了 GPT 3.5。

有趣的是，Mistral 选择推出一个付费的端点，并且没有开源它们的 Medium 模型，这个模型展示了更优秀的指标。引入托管的 API 端点是快速收集客户反馈、迭代真实世界的用例，以及关键的，实现开源模型盈利的最有效的方法。

相反，Stability AI 目前正努力为生存产生足够的收入。作为回应，该公司推出了 Stability AI 会员制，向开发者收取使用其 LLMs 进行商业用途的费用。

Meta 一直是开源社区的领导者，不断地发表研究论文和发布模型。然而，Meta 不一定需要优先考虑的一件事是产生收入，因为它已经通过其社交媒体应用的家族从广告中获得了巨大的收益。

那些正在涉足创建开源模型的初创公司，如果不实现盈利，就无法继续创建它们。由于 Mistral AI 筹集了大量的资金，投资者可能希望得到他们的投资回报。

Mistral AI是下一个OpenAI吗？

欧洲最近就在欧盟使用 AI 的重要规则达成了初步协议。令人惊讶的是，Mistral AI 不赞成支持欧盟 AI 法案。该公司可能觉得这会阻碍它在不久的将来的进步，可能需要披露商业秘密。因此，它们和其他开源公司一起，被免除了这项法案。

Mistral AI可能不会继续将其即将发布的模型作为开源发布，这只是一个猜测。这是考虑到OpenAI也是从一个开源公司开始的。有趣的是，几个月前，OpenAI游说欧盟削弱了备受关注的欧盟AI法案，以减轻公司的监管负担。

Karpathy指出了同样的事情，并说：“很高兴他们把它称为‘开放权重’发布，而不是‘开源’，这在我看来，需要训练代码、数据集和文档。”

目前，欧洲没有多少AI初创公司能够真正地挑战OpenAI和Google。尽管Mistral AI以一流的营销和优秀的产品，让生成式AI变得有趣，但它宣布它将继续存在。