OpenAI:除了计算机科学,社会科学对AI也至关重要
2019年02月20日 由 简一 发表
848527
0
AI安全研究需要社会科学家来确保AI在涉及人类时能够成功,这是由OpenAI的研究人员发表的一篇新论文“AI Safety Needs Social Scientists”中提出的关键论点。
论文作者写道,“大多数AI安全研究人员都专注于机器学习,我们认为这不足以进行这些实验,为填补这一空白,我们需要具有人类认知,行为和道德经验的社会科学家,以及严谨实验的精心设计。”
他们认为,这些科学家和机器学习研究人员之间的密切合作,对于提高“AI alignment(确保AI系统按照预期可靠运行的任务)”至关重要。他们建议这些合作采取实验的形式,让人们扮演AI智能体的角色。
在论文所述的一个场景,AI alignment的辩论方法:两个人类辩手在裁判的观察下争论他们喜欢的任何问题,所有三个参与者都建立了最佳实践,比如在一方做出回应之前,给另一方充足的时间来陈述自己的观点。这些知识随后被应用到一场AI辩论中,在这场辩论中,两台机器回避了修辞上的攻击。
如果我们想要理解一场由机器学习和人类参与者参与的辩论,我们就用人来代替机器学习参与者,看看整个人类游戏是如何进行的。结果是一个纯粹的人类实验,由机器学习驱动,但对任何具有实验社会科学坚实背景的人来说都是可行的。
论文作者表示,这些社会测试的优点在于它们不涉及AI系统或需要算法的内部工作知识。相反,他们呼吁实验设计方面的专业知识,这为社会科学的许多领域,包括实验心理学,认知科学,经济学,政治学和社会心理学,以及像神经科学和法律。
“正确地将先进的AI系统与人类价值观相结合,需要解决与人类理性,情感和偏见心理学相关的许多不确定因素,我们相信,社会科学家和机器学习研究人员之间的密切合作将有助于提高我们对AI alignment方面的理解。”
为此,OpenAI研究人员最近在斯坦福大学行为科学高级研究中心(CASBS)组织了一次研讨会,OpenAI计划聘请社会科学家全职解决这一问题。
论文:
distill.pub/2019/safety-needs-social-scientists/