您尚未登录账户
您的企业账号申请正在审核中
NVIDIA发布SteerLM：定制大型语言模型的新技术
NVIDIA Research发布了SteerLM，这是一种新技术，允许用户在推理过程中自定义大型语言模型（LLM）（例如Llama 2）的响应。SteerLM通过允许用户定义关键属性来更好地控制模型的输出，提供了对模型输出的更多控制。
尽管基础LLM可以生成类似人类输出的文本，但它们通常无法提供符合用户需求的有益、细致的回应。现有的改进LLM的方法，如监督微调和基于人类反馈的强化学习，存在一些限制。监督微调会导致生成简短、机械的回应，而基于人类反馈的强化学习则面临训练复杂性和缺乏用户控制的问题。
SteerLM通过一个由四个步骤组成的监督微调方法来解决这些挑战。这种四步骤技术不仅简化了LLM的定制过程，而且还可以根据指定的属性动态调整模型的输出。
- 训练属性预测模型：该模型在人工注释的数据集上进行训练，评估如有用性、幽默感和创造力等属性。
- 多样数据集的注释：利用上述模型来预测属性分数，增加LLM可以访问的数据的多样性。
- 基于属性的监督微调：训练LLM根据指定的属性生成回应，例如感知质量。
- 通过模型抽样实施引导训练：生成基于最高质量的各种回应，然后进行微调以提高一致性。
SteerLM的独特之处在于用户可以在推理的时候调整属性，实现对特定需求的实时定制，而不仅仅是预先确定的属性。这种灵活性使得可以将模型定制为多样的用例，如游戏、教育和可访问性。因此，企业可以通过一个模型为多个团队提供个性化能力。
与复杂的基于人类反馈的强化学习训练相比，SteerLM的简单微调简化了最先进的定制过程。通过使用标准技术并对基础设施和代码进行最少的更改，SteerLM以更少的麻烦提供了最佳结果。实验证明，SteerLM43B在Vicuna基准测试中表现优于现有的ChatGPT-3.5和LLaMA 30B强化学习模型。
SteerLM的用户可控回应承诺提供更多可定制的AI系统，以满足个体需求。开发人员无需为每个应用重新构建模型，而是可以将多个属性嵌入一个模型中，并在部署过程中动态调节。这使得先进的定制得以实现，并开启了新一代定制AI的可能性。
NVIDIA将SteerLM作为开源软件发布在其NVIDIA NeMo框架中。可以在Hugging Face上获取代码和自定义的13B Llama 2模型来尝试这种技术。NVIDIA还提供了有关如何训练SteerLM模型的详细说明。
随着LLM的不断发展，像SteerLM这样简化模型定制以满足实际需求的方法对于提供符合用户价值观的有益AI至关重要。
