IBM今日正式推出了全新的Granite 3.1系列,旨在进一步巩固其在开源人工智能领域的领先地位。此次发布的Granite 3.1大型语言模型(LLM)为企业用户带来了诸多升级,包括128K标记的扩展上下文长度、全新的嵌入模型、集成的幻觉检测功能以及显著的性能提升。
据IBM透露,其最新的Granite 8B Instruct模型在OpenLLM Leaderboard的一系列学术基准测试中,表现优于同规模的开源竞争对手,如Meta Llama 3.1、Qwen 2.5和Google Gemma 2等。这一成绩再次证明了IBM在AI模型研发方面的实力。
Granite 3.1的发布是IBM加速开源模型更新速度的一部分。就在今年10月,IBM才刚刚发布了Granite 3.0,并声称其生成式人工智能相关业务规模已达200亿美元。此次更新,IBM致力于在更小的模型中加入更多功能,以满足企业用户的需求。IBM研究部门的AI模型副主席David Cox表示,他们在所有方面都提升了指标,性能有了显著提升,并在多个用例中使用了Granite。
对于企业而言,性能和较小模型的重要性不言而喻。IBM通过一系列学术和实际测试来评估模型性能,并强调其模型经过测试和训练,以优化企业用例。Cox指出,效率不仅关乎速度,更关乎细致的效率度量。较小的模型更容易在企业中运行,且更具成本效益。因此,IBM在努力将更多功能融入最小模型的同时,也注重提升模型的性能。
除了性能和效率的提升,IBM还大幅扩展了Granite的上下文长度。在Granite 3.0中,上下文长度限制为4k,而在Granite 3.1中,这一限制被扩展到128k,可以处理更长的文档。这对于企业AI用户而言是一个重要升级,无论是对于检索增强生成(RAG)还是对于主动型人工智能系统都至关重要。
此外,IBM还发布了一系列嵌入模型,以加速数据向量的转换过程。其中,Granite-Embedding-30M-English模型每个查询的性能可达到0.16秒,据IBM称,这比竞争对手如Snowflake Arctic等要快。
为了改善Granite 3.1的性能,IBM采用了先进的多阶段训练流程,并注重提高训练数据的质量。Cox强调,这不是一个数量游戏,而是要通过高质量的数据来提升模型性能。
在减少LLM中幻觉和错误输出风险方面,IBM将幻觉保护直接集成到模型中。Granite Guardian 3.1 8B和2B模型现在包括一个调用功能的幻觉检测能力,可以在模型内部进行本地化防护,提高效率和准确性。
目前,这些新的Granite模型已免费提供给企业用户使用,并可通过IBM的Watsonx企业AI服务以及商业产品集成使用。IBM计划保持Granite模型的积极更新速度,并计划在2025年初的Granite 3.2中添加多模态功能。Cox表示,未来将在IBM Think大会上宣布更多不同的区别性功能。