您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
Mistral AI与NVIDIA合作发布12B语言模型
2024年07月19日 由 daydream 发表
179
0
Mistral AI和NVIDIA联合发布了针对企业的新型语言模型Mistral NeMo 12B。该模型在多轮对话、数学、常识推理、世界知识和编程等方面表现出色。Mistral AI吹嘘该模型在多种企业应用中具有前所未有的准确性和灵活性。
Mistral NeMo拥有128K的上下文长度，使其能够比许多竞争对手更有效地处理复杂、冗长的输入。该模型能够连贯地处理大量信息，为多样化的企业需求生成上下文相关的输出。
Mistral AI的联合创始人兼首席科学家Guillaume Lample强调了此次合作带来的好处：“利用NVIDIA的硬件和软件，我们开发出了一个具有高准确性、灵活性和效率的模型，同时还获得了企业级支持和安全保障。”
该模型的训练采用了NVIDIA的AI基础设施，包括DGX Cloud AI平台上的3,072个H100 80GB Tensor Core GPU。此过程融入了加速训练技术以优化性能。
Mistral NeMo为企业用户提供了几个关键优势：
- 多功能性：在Apache 2.0许可下发布，它被设计为使用Mistral 7B的系统的即插即用替代品。
- 高效性：在推理过程中采用FP8数据格式，减少了内存需求并加快了部署速度，同时不会损失准确性。
- 多语言能力：在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语等语言中表现出色。
- 改进的分词：引入了基于Tiktoken的新分词器Tekken，在100多种语言中显示出效率提升。
- 易于部署：作为NVIDIA NIM推理微服务进行打包，允许在各种环境中快速设置。
- 硬件灵活性：可以在单个NVIDIA L40S、GeForce RTX 4090或RTX 4500 GPU上运行，从而在性能和成本之间取得平衡。
对于希望实施高级AI功能的企业而言，Mistral NeMo 12B提供了强大的功能组合。其多语言能力和高效处理使其适用于广泛的企业应用。
此外，Mistral NeMo还设计了企业级的安全性和支持，包括专用的功能分支、严格的验证流程以及全面的服务级别协议。企业可以无缝地将Mistral NeMo集成到其商业应用中，并受益于直接访问NVIDIA AI专家以及可靠、一致的性能。
现在，用户可以获得Mistral NeMo，并且可下载的NIM版本也即将推出。
文章来源：https://www.maginative.com/article/mistral-ai-and-nvidia-launch-powerful-12b-language-model-for-enterprise-use/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消