NVIDIA近日推出了Llama Nemotron推理模型系列,该系列模型以Llama模型为基础,并进行了针对性的增强,旨在为开发者和企业提供强大的AI推理功能。
在模型后训练期间,NVIDIA对Llama Nemotron系列进行了优化,重点提升了模型在多步数学运算、编码、推理以及复杂决策方面的能力。这些增强措施使得模型在精度上相较于基础模型提高了多达20%。同时,与市场上其他领先的开放推理模型相比,Llama Nemotron在推理速度上实现了5倍的提升。
推理性能的提升意味着该模型能够处理更为复杂的推理任务,具备更强的决策能力,并有望帮助企业降低运营成本。
目前,包括埃森哲、Amdocs、Atlassian、Box、Cadence、CrowdStrike、德勤、IQVIA、微软、SAP和ServiceNow等多家领先智能体AI平台正在与NVIDIA就这一全新推理模型及其配套软件进行合作。