Mistral推出新微调工具,简化模型定制过程

2024年06月06日 由 daydream 发表 134 0

微调对于提升大型语言模型(LLM)的输出效果并将其适应特定企业需求来说至关重要。操作得当时,这一过程能使模型响应更加准确、有用,并允许组织从其生成式AI应用中获取更多价值和精确度。


然而,微调并非易事,它需要大量的资金投入,这使得一些企业望而却步。


微信截图_20240606095323


开源AI模型提供商Mistral,在其成立仅14个月后,估值就高达60亿美元,现在正进军微调领域,在其AI开发者平台La Plateforme上提供全新的定制功能。


该公司表示,这些新工具提供了高效的微调服务,能够降低培训成本并降低使用门槛。


这家法国公司名副其实——“mistral”意为法国南部的一阵强风——该公司不断推出创新,并吸引数百万美元的资金投入。


Mistral在博客文章中宣布其新服务时写道:“当我们将较小的模型定制为适合特定领域或用例时,它能提供与较大模型相匹配的性能,从而降低部署成本并提高应用速度。”


定制Mistral模型


Mistral通过发布几款开源许可下的强大LLM(大型语言模型)而广为人知,这意味着这些模型可以免费获取、改编和使用。


然而,该公司也提供付费工具,如API和开发者平台“la Plateforme”,旨在帮助那些希望在其模型基础上进行开发的人更轻松地完成这一过程。用户无需在自己的服务器上部署Mistral LLM的自有版本,即可通过API调用在Mistral上构建应用程序。价格详情可以在此处查看(滚动到链接页面的底部)。


微信截图_20240606095407


现在,除了基于现有产品构建外,客户还可以在la Plateforme上,通过Mistral在Github上提供的开源代码或在客户自己的基础设施上定制Mistral模型,或选择定制培训服务进行定制。


对于那些希望在自己的基础设施上工作的开发人员来说,Mistral发布了轻量级代码库mistral-finetune。它基于LoRA范式,减少了模型所需的可训练参数数量。


Mistral在博客文章中写道:“通过mistral-finetune,您可以在自己的基础设施上微调我们所有的开源模型,而不会牺牲性能或内存效率。”


同时,对于那些寻求无服务器微调服务的客户来说,Mistral现在提供了使用公司经过研发完善技术的新服务。Mistral表示,底层的LoRA适配器有助于防止模型忘记基础模型知识,同时实现高效服务。


“这是我们使命中的一个新步骤,旨在向AI应用开发人员展示先进的科学方法,”该公司在博客文章中写道,并指出该服务允许快速且成本效益高的模型适应。


微调服务与公司的7.3B参数模型Mistral 7B和Mistral Small兼容。当前用户可以立即使用Mistral的API来定制他们的模型,该公司表示将在未来几周内将其微调服务扩展到新模型。


最后,定制培训服务使用专有数据在客户的特定应用上微调Mistral AI模型。该公司通常会采用高级技术,如连续预训练,以将专有知识融入模型权重中。


“这种方法使他们能够为其特定领域创建高度专业化和优化的模型,”根据Mistral的博客文章。


为了配合今天的发布,Mistral还启动了一场AI微调黑客马拉松大赛。该比赛将持续到6月30日,并允许开发人员尝试使用这家初创公司的新微调API。


Mistral持续加速创新并吸收资金


自2023年4月成立以来,短短14个月内,由前Google DeepMind和Meta员工Arthur Mensch、Guillaume Lample和Timothée Lacroix创立的Mistral便取得了前所未有的迅猛发展。


该公司以创纪录的1.18亿美元种子轮融资——据说是欧洲历史上最大的——和成立仅几个月后就与IBM等公司建立合作伙伴关系而著称。今年2月,该公司通过与微软的合作,通过Azure云发布了Mistral Large。


就在昨天,SAP和Cisco宣布支持Mistral,而该公司上个月末还推出了其首款以代码为中心的LLM Codestral,据称性能优于其他所有产品。据报道,该公司还即将完成新一轮6亿美元的融资,这将使其估值达到60亿美元。


Mistral Large是OpenAI以及Meta的Llama 3的直接竞争对手,根据公司基准测试,它是仅次于OpenAI的GPT-4的世界第二大功能强大的商业语言模型。


Mistral 7B于2023年9月推出,该公司声称它在许多基准测试中优于Llama,并在代码方面接近CodeLlama 7B的性能。


Mistral接下来将有何动作?我们很快就能得知。

文章来源:https://venturebeat.com/ai/mistral-launches-fine-tuning-tools-to-make-customizing-its-models-easier-and-faster/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消