您尚未登录账户
您的企业账号申请正在审核中
Cerebras Systems、Petuum和MBZUAI联合推出开源LLM360
AI超级计算机公司Cerebras Systems、AI公司Petuum和默罕默德·宾·扎耶德人工智能大学（MBZUAI）推出了LLM360，一个用于创建开源大型语言模型（LLM）的框架。LLM360是与MBZUAI的基础模型研究院合作开发的，它通过提供详细的见解和方法论，使开发者更加得力，承诺简化、加速并降低LLM开发成本。
发布了两个开源的大型语言模型：Amber，这是一个在1.2万亿个token上训练的70亿参数的英文模型，以及CrystalCoder，这也是一个70亿参数的模型，在1.4T token上训练，专为英文语言和编码任务设计。这两种模型都是在Apache 2.0许可下发布的。还有一个名为Diamond的模型，具有650亿参数，即将发布。这些模型都是在由G42和Cerebras systems建造的Condor Galaxy 1超级计算机上训练的。
这两个模型都是基于Meta的LLaMA架构构建的，并且据说Amber在性能上与LLaMA-7B、OpenLLaMA-v2-7B类似，并且优于Pythia-6.7B。
CrystalCoder经过了精心的训练，包含了文字和代码数据的深思熟虑的混合，以提高其在两个领域的有效性。特别值得注意的是，代码数据的引入是在预训练阶段早期，这与仅在Llama 2的微调上依赖代码数据的Code Llama 2不同。此外，CrystalCoder专门针对Python和网络编程语言进行训练，目的是为了将其作为编程助手的能力提升。
UAE正朝着AI主导方向发展
随着最近的AI发展，UAE正努力成为一个AI超级大国。继TII的Falcon和针对特定人口的Jais大型语言模型之后，UAE也一直在推广开源模型，以促进研究倡议。随着几周前推出的AI公司AI71，UAE甚至看上去要与AI巨头OpenAI竞争。
