您尚未登录账户
您的企业账号申请正在审核中
OpenAI推出用于识别GPT输出代码错误的模型CriticGPT
近日，OpenAI宣布推出了一款名为CriticGPT的创新工具，旨在通过人工智能技术显著提升代码审查的效率和准确性。这款工具通过识别并纠正人工智能模型输出中的错误和失误，确保人工智能系统能够更加精确地执行开发者意图。
在传统的代码审查过程中，开发人员通常需要依赖人力来评估大型语言模型的输出，并手动纠正其中的错误。然而，OpenAI的研究人员认为，利用人工智能自身的能力来辅助这一过程将更为高效。为此，他们开发了CriticGPT，一款基于GPT-4大型语言模型构建的AI评审工具。
CriticGPT具备出色的代码分析和错误识别能力，能够协助人类评审员完成ChatGPT生成的代码审查任务。在测试阶段，CriticGPT的表现令人瞩目，其识别错误的能力甚至超越了普通的人类代码审查者。在63%的情况下，人类训练者更倾向于接受CriticGPT的批评，而非人类编写的批评。
为了实现更高效的代码审查，OpenAI还开发了“Force Sampling Beam Search（强制采样光束搜索）”技术。这项技术使得CriticGPT能够对AI生成的代码提供更详细的评论，并赋予人类教师更大的灵活性，以便在寻找错误时调整CriticGPT的彻底性。此外，该技术还能有效控制CriticGPT偶尔产生的幻觉或误报，确保代码审查的准确性。
为了验证CriticGPT的实用性，研究人员将其应用于ChatGPT的训练数据集。这些数据集被人类注释者标记为“完美无缺”，但CriticGPT仍然在其中发现了24%的错误。这些错误随后得到了人类审阅者的证实，证明了CriticGPT具备识别人类容易忽视的最细微错误的能力。
尽管CriticGPT在代码审查方面取得了显著进展，但OpenAI也承认它仍面临一些挑战。首先，由于CriticGPT是基于ChatGPT的较短响应进行训练的，它在处理更长、更复杂的任务时可能表现受限。此外，CriticGPT并非万能，它仍然无法发现所有错误，并在某些情况下产生幻觉或误报。
然而，OpenAI对CriticGPT的未来发展充满信心。他们计划将CriticGPT整合到其强化学习从人类反馈（RLHF）的流程中，以进一步提高代码审查的效率和准确性。此举意味着，OpenAI的人类训练师将能够利用CriticGPT这一强大的生成式AI助手来协助他们审查AI的输出，从而推动人工智能技术的持续进步。
