为什么轻量级模型可能是人工智能的未来

2024年02月23日 由 neo 发表 585 0

谷歌近日推出了Gemma系列轻量级开源模型,这标志着人工智能(AI)领域正迎来一场精简革命。Gemma 2B和Gemma 7B两个版本的推出,引发了业界的广泛关注。

QQ截图20240223161038

这些大型语言模型(LLM)具备高度的可调整性,可以在笔记本电脑、台式机或谷歌云上顺畅运行。据谷歌报告,Gemma模型在推理、数学和编程技能测试中表现优异,甚至超越了更大的模型如Meta的Llama-2。

Multiverse Computing首席技术官Sam Mugel在接受采访时表示:“较小的模型更具便携性,能够广泛应用于各种场景,如远程操作或本地存储有限的设备。此外,减小模型总体大小还有助于降低运行所需的能量。”

除了便携性和节能优势外,轻量级模型如Gemma还具备其他诸多优点。在一篇最新的论文中,专家们指出,精心策划的训练数据能让这些模型在性能上达到令人瞩目的水平。RelationalAI研究ML副总裁Nikolaos Vasiloglou表示:“精心策划的训练数据能让轻量级模型在性能上更具竞争力。此外,它们还提供了大型模型无法提供的可解释性和可解读性。”

除了易于管理外,轻量级模型在特征和功能方面也更加灵活和具体。Entanglement首席执行官Jason Turner指出:“轻量级模型通常基于LLM的一个子集,参数较少。此外,它们还能为开发针对特定主题或领域的专家模型提供有力支持。这些模型通常采用低秩适应技术(LoRA),具有快速微调模型的优点。相比之下,大型模型在微调时往往需要消耗大量资源。”

一些公司选择不直接创建新的轻量级LLM,而是研发能够压缩现有模型的工具。这种方法可以在保持结果质量的同时,减小模型总体大小和运行要求。Mugel的公司开发的CompactifAI软件便是其中的佼佼者。该软件利用张量网络减少模型中的参数数量,从而降低总体大小和内存、存储空间需求。

随着AI与隐私问题的日益突出,谷歌将Gemma作为其伦理标准承诺的一部分。该模型经过预训练,能够在不损害个人和敏感信息的情况下筛选数据。此外,通过人类反馈强化学习(RLHF)过程,Gemma的决策更加符合伦理准则,并通过人类和对抗性测试来减轻潜在风险。

为了进一步提高AI开发的安全性,谷歌还推出了负责任的生成性AI工具包。这些工具旨在为开发者提供安全分类、调试手段以及制作LLM的最佳实践建议。

Mugel强调,Gemma试图解决AI面临的重大挑战,其中隐私问题和环境影响尤为突出。由于这些系统可能泄露敏感、受版权保护或危险的信息,因此隐私保护至关重要。同时,复杂的系统设计需要大量的计算资源和存储空间,导致高碳足迹,对环境造成压力。

Gemma将与Meta Llama、资金充足的AI初创公司如Mistral和Falcon以及OpenAI的GPT4等开放模型展开竞争。Aisera的产品管理和营销副总裁Karthik Sj表示:“鉴于Gemma与Gemini共享技术和基础设施组件,它具备了按其大小实现最佳性能的能力。在关键基准测试上,Gemma超越了明显更大的模型,同时严格遵守了安全和负责任的标准。”

文章来源:https://www.pymnts.com/artificial-intelligence-2/2024/why-lightweight-models-may-be-the-future-of-ai/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消