据The Information报道,Meta内部员工透露,Meta计划在下周率先发布两款规模较小的Llama 3大语言模型(LLM),以此作为夏季正式版Llama 3的预热之作。
这两款小模型的推出,旨在为Llama 3的盛大登场奠定坚实基础。去年7月,Meta成功发布了Llama 2,而此后,谷歌、马斯克旗下的xAI与Mistral等公司亦纷纷推出各自的开源大语言模型,市场竞争异常激烈。
Llama 3的目标直接锁定OpenAI的GPT-4,后者作为一款强大的多模态模型,不仅擅长处理长篇文本,还具备图像输入的处理能力。
据透露,正式版的Llama 3亦将支持多模态处理,即能够同时理解和生成文本与图片;而即将发布的小版本则暂时不具备这一特性。
通常而言,小型模型在成本上更为经济,运行速度也更快,尤其在当下大型模型运行成本高昂的背景下,其优势愈发明显。此外,小型模型还更易于开发者在移动设备上开发人工智能应用。
此前,Meta已推出了三个版本的Llama 2,其中最大版本拥有高达700亿个参数,另外两个版本则分别拥有130亿和70亿个参数。
Llama 3的最大版本可能拥有超过1400亿个参数,展现出其强大的计算能力和处理复杂任务的能力。
另外,Meta还计划在Llama 3中解决Llama 2在应对争议性话题时过于保守的问题。研究人员将放宽大模型在这方面的限制,使其能更积极地与用户互动,提供更丰富的背景信息,而不仅仅是回避问题。