在骁龙峰会2024上，高通技术公司宣布与Mistral AI达成合作，旨在将Mistral AI的生成式AI模型Ministral 3B和Ministral 8B集成到由高通骁龙系列计算平台驱动的设备中，包括高通骁龙8 Elite移动平台、骁龙Cockpit Elite（用于汽车）和骁龙Ride Elite（同样用于汽车），以及骁龙X系列计算平台（用于AI PC）。

Mistral AI推出的Ministral 3B和8B，是其专为设备上使用而设计的首款商业化AI模型。这些紧凑且功能强大的模型，将为智能手机、电脑和车辆等设备带来前所未有的体验。

在设备上运行AI具有诸多优势，如提升隐私保护、降低延迟、节约成本、增强可靠性和提高能源效率。Ministral 3B和8B在常识推理、知识和任务编排方面表现卓越，参数控制在10B以内，适用于多种应用场景，如基于代理的工作流程和专门的任务自动化。

这两个模型均支持高达128k的上下文长度。其中，Ministral 8B模型还具备滑动窗口注意力模式，能在推理过程中更快速、更有效地利用内存。

Mistral AI指出，随着客户对本地、隐私优先的AI模型需求不断增长，这些模型能够处理本地翻译、离线智能助手、本地分析和自主机器人等任务，Ministral模型正是通过提供高效、低延迟的解决方案满足了这一市场需求，并在多项任务中表现优异，经常超越竞争对手。

在与Mistral Large等更大语言模型配合使用时，Ministral 3B和8B也展现出强大的功能。它们针对复杂工作流程中的函数调用进行了优化，能够管理输入解析、任务路由和基于用户意图执行API调用等任务，实现极低响应速度和更低运营成本，非常适用于实际应用场景。

高通和Mistral AI正努力通过高通AI中心，尽快向开发人员提供Ministral 3B和8B模型。目前，开发人员已经可以通过该平台访问其他Mistral AI模型，如Mistral 7B v0.3，从而增强其在设备上的AI解决方案。

高通技术公司高级副总裁兼技术、规划和边缘解决方案总经理Durga Malladi在活动上表示：“我们很高兴宣布与Mistral AI的合作，这符合我们为边缘设备提供尖端AI技术的目标。Mistral AI的Ministral 3B和Ministral 8B将使设备制造商、软件供应商和服务提供商能够创建创新的体验，如真正了解用户需求的AI助手和其他应用程序，同时提供即时性、可靠性和增强的隐私保护。”

Mistral AI联合创始人兼首席执行官Arthur Mensch也对此次合作发表了看法：“与高通技术的合作是Mistral AI的一个重要里程碑，展示了我们的新模型如何直接在由骁龙平台驱动的设备上运行。这极大地提升了本地处理速度，有助于降低成本和能源消耗。我们正在共同努力，让先进的AI更加触手可及，让全球的开发人员和用户能够直接在他们的设备上体验到我们模型的全部潜力。”