马斯克开源3140亿参数AI模型Grok-1

2024年03月18日 由 daydream 发表 366 0

埃隆·马斯克的人工智能公司xAI在Apache 2.0许可协议下发布了其拥有3140亿参数的专家混合模型Grok-1的权重和架构。这符合马斯克上周一做出的将Grok模型免费公开的承诺。


微信截图_20240318100454


xAI表示,开源的Grok-1模型是预训练阶段的原始基础模型检查点,该阶段已于2023年10月结束。这意味着该模型尚未针对任何特定应用(如对话)进行微调。该模型的权重和架构已在GitHub上公开,并附带了使用该模型的入门指南。


微信截图_20240318100522


Grok模型是xAI在公司成立仅3个月内从零开始训练的。与Gemma和Llama等一些开源发布版本不同,这些版本在使用方面有所限制,而Grok的开源发布则提供了对底层技术的广泛访问权限。不过,它在透明度方面仍不及Pythia、Bloom和OLMo等模型,后者公开了训练代码和用于训练模型的数据集。


magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce


用户可以通过一个包含约300GB、773个文件的torrent文件的磁力链接下载该模型。


这一发布正值马斯克与OpenAI之间紧张关系不断升级之际。马斯克于2018年离开OpenAI,原因是担心该公司过于重视利润而忽视安全。此后,他对于OpenAI的批评声音越来越强烈。最近,他向OpenAI提起诉讼,指控该公司违背了其创建开源模型的初衷,转而优先考虑股东利益。


马斯克还对其他AI公司持批评态度,包括谷歌。最近,他批评了谷歌的Gemini AI图像生成器,因为该生成器产生了有关种族的历史上不准确且误导性的内容。


Grok-1的发布对马斯克去年3月创立的xAI公司来说是一个重要步骤。该公司的首款产品——Grok聊天机器人于11月发布,并向X(前身为Twitter)的付费订阅用户开放。马斯克声称,这款聊天机器人“设计用于以一点幽默感回答问题,并带有叛逆的特质”。


随着AI领域的快速发展,像Grok-1这样的模型开源可能会对业界产生重大影响(尽管运行该模型需要庞大的计算资源)。尽管这无疑是对OpenAI的直接打击,但人们将密切关注AI社区对此发布的反应,以及它将如何影响关于AI技术负责任开发和部署的持续辩论。

文章来源:https://www.maginative.com/article/elon-musks-xai-open-sources-grok-1/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消