您尚未登录账户
您的企业账号申请正在审核中
OpenAI为了人工智能未来的超级智能计划
OpenAI建立新的专门团队来引导和控制人工智能系统，以帮助未来的人们对抗超级智能。
OpenAI经常出现在媒体上，不仅仅是因为ChatGPT、GPT-3和GPT-4的发布。同时也是因为像ChatGPT这样的人工智能系统的伦理问题对当今世界的社会经济学的影响。
该公司首席执行官Sam Altman曾多次谈到人工智能的安全性，比如在美国参议院委员会上，他说：“我认为，如果这项技术出了问题，它可能会出很大的问题……我们想要直言不讳。我们希望与政府合作，防止这种情况发生。”
话虽如此，OpenAI 团队还是把事情揽到了自己身上。许多人都关心超级智能，这是一种智能程度超越人类思维的人工智能系统。有些人认为，这项技术可以解决当前世界的许多问题，然而，由于对它的了解很少，很难权衡利弊。
现在谈论超级智能可能还为时过早，但这绝对是一个需要进行的对话。最好的方法是在这些潜在风险成为无法处理的更大问题之前尽早对其进行管理。
OpenAI的方法
OpenAI表示，他们目前还没有超级智能AI的解决方案，但是，他们正在与他们的新团队Superalignment一起研究这个问题。他们目前正在使用从人类反馈中进行强化学习等技术，这在很大程度上依赖于人类来监督人工智能。然而，人们担心未来人类将无法可靠地监督人工智能，需要新的科学突破来解决这个问题。
话虽如此，OpenAI正在考虑建立一个人类级别的自动对齐研究人员。它能够从人类的反馈中学习，并帮助人类评估人工智能，并且能够解决其他对齐问题。OpenAI已经将他们迄今为止获得的20%的计算量用于这项工作，以迭代方式对齐超级智能。
为了让超级对齐团队在这方面取得成功，他们需要：
1.开发可扩展的训练方法
他们的目标是利用其他人工智能系统来帮助评估其他人工智能系统，同时能够更好地理解模型如何进行人类无法监督的监督。
2.验证结果模型
为了验证系统对齐的结果，OpenAI计划自动搜索有问题的行为，以改进模型的稳健性和自动可解释性。
3.对整个对齐管道进行压力测试
测试，测试，测试！OpenAI计划通过刻意训练不对齐的模型来测试其整个对齐过程。这将确保所使用的技术能够检测到任何形式的偏差，特别是最糟糕的对抗性测试。
OpenAI 已经进行了初步实验，并取得了良好的效果。他们的目标是利用有用的指标和持续的模型研究工作，在此基础上取得进展。
总结一下
OpenAI 的目标是创造一个人工智能系统与人类和谐共处、互不威胁的未来。超级对齐团队的发展是一个雄心勃勃的目标，然而，它将为更广泛的社区提供能够为使用机器学习创造安全环境的证据。
