您尚未登录账户
您的企业账号申请正在审核中
OpenAI推出基于规则的奖励机制，提升AI安全性与效能
OpenAI 开发出了一套基于规则的奖励机制（RBRs），这是一项旨在提升语言模型安全性和效能的创新方法。该方法的核心在于，利用AI自身的智慧，而非依赖庞大的人类数据收集，来引导AI行为符合既定的安全标准。
过去，强化学习结合人类反馈（RLHF）是确保语言模型遵循指令、恪守安全准则的常用手段。但OpenAI此番推出的RBRs，则被视为一种更为高效、灵活的替代方案。RBRs构建了一套清晰、渐进的规则体系，用以评估并引导模型的应答，确保其安全合规。
RBRs旨在解决单纯依赖人类反馈所面临的成本高、耗时长及潜在偏见等问题。通过将期望行为细化为具体规则，RBRs为模型反应提供了精准的控制手段。这些规则随后被用于训练一个“奖励模型”，该模型如同一位智慧导师，向AI发出行动指南，确保每一次交互都安全且尊重。
在处理敏感或有害话题时，模型行为被划分为三类：硬性拒绝、软性拒绝与遵从。硬性拒绝表现为简明的道歉和无法执行的声明；软性拒绝则更为细腻，如针对自残询问的同情回应；而遵从类行为，则是在严守安全底线的同时，尽量满足用户的合理请求。
实验结果显示，经过RBRs训练的模型在安全性方面表现更为出色，相较于仅依赖人类反馈训练的模型，其错误拒绝安全请求的情况显著减少。同时，RBRs还大幅降低了对人类数据的依赖，使训练过程更加迅速且成本效益更高。
然而，值得注意的是，虽然RBRs在规则明确的任务中表现出色，但在处理如写作等更为主观的任务时，可能面临挑战。为解决这一问题，OpenAI提出将RBRs与人类反馈相结合的策略，既保留了具体规则的强制执行，又通过人类输入捕捉更微妙的情感与语境。
总而言之，OpenAI的RBRs为提升AI安全性和效率开辟了一条新路径。通过减少对外部人类反馈的依赖，RBRs简化了训练流程，同时确保了语言模型行为的一致性与合规性。这一创新成果标志着在构建更加智能、安全的AI系统道路上又迈出了坚实的一步。OpenAI已公开相关研究论文，并发布了RBRs数据集与模型权重，以供业界学习与参考。
