OpenAI 的前首席科学家表示,他难以获得资源来研究存在性 AI 风险,因为该公司据报道已经解散了他的团队。
OpenAI负责控制未来超越人类智能系统带来的存在性危险的Superalignment 团队已经被解散。这一消息传出仅几天前,该团队的创始人 Ilya Sutskever 和 Jan Leike 同时离开了公司。
OpenAI 的 Superalignment 团队自 2023 年 7 月成立以来,一直致力于防止未来的超越人类智能系统失控,但现在该团队已经不复存在。报道称,该团队的工作将被纳入 OpenAI 的其他研究工作中。根据报道,对更强大的 AI 模型相关风险的研究现在将由 OpenAI 的联合创始人 John Schulman 牵头。
Sutskever 和 Leike 曾是 OpenAI 中专注于 AI 风险的一流科学家。Leike 在 X 周五发布了一篇长文,模糊地解释了他离开 OpenAI 的原因。他表示,他与 OpenAI 的领导层在核心价值观上一直存在分歧,但本周达到了一个临界点。Leike 指出,Superalignment 团队一直在“逆风而行”,努力为关键研究争取足够的计算能力。他认为 OpenAI 需要更加关注安全性、安全性和对齐性。
当被问及 Superalignment 团队是否解散时,OpenAI 的新闻团队引导我们关注 Sam Altman 的推特。Altman 表示他将在接下来的几天内发布一篇更长的帖子,并指出 OpenAI “还有很多事情要做”。
后来,OpenAI 的发言人澄清说:“Superalignment 现在将更深入地融入研究工作之中,这将有助于我们更好地实现 Superalignment 的目标。”该公司表示,这种整合“几周前”就开始了,最终 Superalignment 的团队成员和项目将被转移到其他团队。
Superalignment 团队在 7 月发布的一篇 OpenAI 博客文章中写道:“目前,我们还没有解决方案来指导或控制潜在的超级智能 AI,并防止它失控。”“但是,人类将无法可靠地监督比我们聪明得多的 AI 系统,因此我们当前的对齐技术无法适应超级智能。我们需要新的科学和技术突破。”
现在还不清楚是否还会将同样的注意力放在这些技术突破上。毫无疑问,OpenAI 还有其他团队专注于安全性。据报道,负责吸收 Superalignment 职责的 Schulman 团队目前负责训练后的 AI 模型微调。
今年早些时候,该团队发布了一篇关于使用较小的 AI 模型控制大型 AI 模型的显著研究论文——这被认为是控制超级智能 AI 系统的第一步。目前还不清楚在 OpenAI 中谁将负责这些项目的下一步工作。