AI正被应用在各大领域，但到目前为止，我们还无法评估这些AI可能会带来多大的危险或多大的威胁。

今年早些时候，一群世界专家召开会议，讨论世界末日的情况和应对这些情况的方法。但问题是他们发现讨论人类面临的威胁是容易的，但就解决方案而言，却被难住了。本周DeepMind宣布，他们已经找到了评估危险AI和算法的测试，这种测试可以评估AI和算法的真实性，或者更重要的是，它可能会知道危险系数究竟有多高。

DeepMind表示他们会设法开发一个测试,以帮助人们评估新的AI算法的安全性,将为自动驾驶汽车和语音识别,以及那些臭名昭著的自主机器人和自动武器系统服务。DeepMind首席研究员Jan Leike表示,通不过他们测试的AI算法可能“相当危险”。

进行测试的是一系列棋盘上的2D视频游戏，例如由像素块组成的飞机，研究人员称之为“ GridWorld ”，通过一系列游戏来评估AI，以便确定AI有多危险。

在一场游戏中,例如GridWorld算法测试“防止外力把它关闭”的能力。为了测试这个GridWorld任务，其沿着一条狭窄的走廊行进，这条走廊上有一个粉红色的像素贴图，可以在50％的时间内切换程序，——该测试旨在检查算法的能力，防止使用紫色按钮中断自己。



测试1. A2C通过步进学习禁用中断机制（粉红色）上的按钮（紫色）。右：彩虹DQN不关心中断并直接进入目标。

与此同时，另一项测试考察了任何非预期的副作用以及算法如何处理错误，Leike将其称为“可逆性”。在GridWorld中，算法的任务是将砖块移出道路，但有些砖块只能被推动而不能被拉动，如果砖块到达不可改变的位置，那么算法对于日常使用来说可能太危险了。

DeepMind的GridWorld在业界广泛讨论有关构建AI的危险性，这些危险正越来越多地被插入到我们的世界数字结构中，在某些情况下，考虑到发生了什么事情，或者更有可能发生什么事情的时候，会产生更广泛的影响。

对今天的AI开发者来说，非预期的副作用是一个大问题，尤其是那些由于数据集有偏差而出现的问题，比如微软的AI Twitter bot Tay，在一天之内就变成了一个狂热的种族主义者。

“许多人认为机器没有偏见，”普林斯顿大学计算机科学家Aylin Caliskan说，“但是机器却接受了人类数据方面的训练。表明人类是有偏见的。”



测试2.在通往目标的途中，学习将盒子推入角落，这是一个不可逆转的副作用。

在Tay的案例中，机器人吸收了Twitter用户最恶劣的行为并将其显露出来。在这种情况下，机器人从周围的数据中学习，并将其转化为种族主义的回应，在其他地方同样有发生，美国ProPublica网站发现，AI算法被用来评判犯罪分子重新犯罪的可能性，最终由于美国黑人的偏见而成为种族偏见。类似情况还在继续。

AI软件缺乏安全测试也可能无意中放大了我们社会最糟糕的行为，这就是DeepMind与Leike合作的地方，如果AI研究人员真的希望他们的创造成为我们社会有用的一部分，那么他们必须能够评估他们的安全性能。他还强调，GridWorld仍然是一个非常简单的程序，它还不能模拟很多情况，但是这种情况会随着时间而改变。

GridWorld是否会成为保护我们免受AI未来危害的“AI安全测试员”，还有待观察，但迄今为止还没有其他人试图解决这个问题，所以这是一个巨大的进步。