OpenAI正在组建一个由其首席科学家、公司联合创始人之一的Ilya Sutskever领导的新团队，该团队将开发运行和控制“超智能”AI系统的方法。



在今天发布的一篇博客文章中，Sutskever和OpenAI的对齐团队负责人Jan Leik预测，超过人类智能的AI可能会在十年内出现。他们说，假设这种AI最终真的来了，它不一定是无私的，我们需要现在开始研究如何控制和限制它。

他们写道：“目前，我们没有操作或控制潜在的超智能AI并防止其发生故障的解决方案。” “我们目前调整AI的技术，例如根据人类反馈进行强化学习，依赖于人类监督AI的能力。但人类将无法监督比我们更聪明的AI系统。

为了在“超智能对齐”领域推动进展，OpenAI正在创建一个新的SuperAlignment团队，由Sutskever和Leik共同领导，该团队将可以使用公司目前获得的20%的计算资源。这个团队由来自OpenAI之前的对齐部门的科学家和工程师，以及来自公司其他组织的研究人员组成，将致力于在未来四年内解决控制超智能AI的核心技术挑战。

如何做到？通过构建Sutskever和Leik描述的一个“人类水平的自动对齐搜索器”。高层目标是使用人类反馈训练AI系统，训练AI来帮助评估其他AI系统，并最终构建可以进行对齐研究的AI。（这里，“对齐研究”指的是确保AI系统达到期望的结果或不偏离轨道。）

OpenAI的假设是，AI可以比人类更快更好地推进对齐研究。

“随着我们在这方面取得进展，我们的AI系统可以处理越来越多的对齐工作，并最终构思、实现、研究和开发比我们现在拥有的更好的对齐技术。”Leik和他的同事John Schulman和Jeffrey Wu在之前一篇博客文章中说。“他们将与人类合作，确保他们自己的后继者与人类更兼容。人类研究者将越来越多地专注于审查由AI系统完成的对齐研究，而不是自己创建这些研究。

当然，没有任何方法是万无一失的——Leik、Schulman和Wu在他们的文章中承认了OpenAI的许多局限性。他们说，使用AI进行评估有可能放大那个AI中存在的不一致性、偏见或弱点。而且可能证明，对齐问题最难的部分可能根本不是与工程相关的。

但是Sutskever和Leik认为这是值得努力的。

“超智能对齐本质上是一个机器学习问题，我们认为优秀的机器学习专家将是解决它的关键”他们写道，“我们计划广泛地分享这项工作的成果，并认为为非OpenAI模型的对齐和保护做出贡献是我们工作的重要部分。”

 

来源：https://biz.crast.net/openai-is-building-a-new-team-to-get-superintelligent-ai-under-control/