识别人工智能的“盲点”
2019年09月24日 由 TGS 发表
234572
0
麻省理工学院(MIT)和微软(Microsoft)的研究人员开发了一个新模型,该模型可以识别出,自主系统从与现实世界实际情况不符的训练示例中“学习”的实例,简而言之,找出AI的盲点。工程师可以利用这个模型来提高人工智能系统的安全性,例如:无人驾驶汽车。
驱动无人驾驶汽车的人工智能系统,在虚拟仿真中得到了广泛丰富的训练,以便让汽车为几乎所有道路上的可能事件做好准备。但有时汽车在现实世界中会出现意想不到的情况,我们通常把这种人工智能无法处理的情况称为不可知意外,因为没有先例或是没有进行过系统的解决训练,所以人工智能自然无法应对这种意外状况。
试想一下,一辆未经训练的无人驾驶汽车在高速公路上巡航,一辆救护车突然鸣响了警笛,巡航车绝不会减速并靠边停车,因为它并不知道救护车与一辆白色的大轿车有什么不同,换种说法就是,无人驾驶汽车并不能像人类一样认出救护车并让开道路。
在去年的自主智能体和多智能体系统会议以及即将召开的人工智能发展协会会议上发表的两篇论文中,研究人员描述了一个利用人类,输入能发现这些训练“盲点”的模型。与传统方法一样,研究人员将人工智能系统进行模拟训练,但当系统在现实世界中运行时,人类会密切监视系统的行为,当系统犯了或即将犯任何错误时,人类会提供反馈,然后,研究人员将训练数据与人类反馈数据结合起来,利用机器学习技术生成一个模型,该模型能够精确定位系统最可能需要的、更多关于如何正确行动信息的情况。
研究人员通过视频游戏初步验证了他们的方法——模拟人类纠正屏幕上角色的学习路径。下一步是将该模型与传统的自动驾驶汽车和有人类反馈的机器人训练同测试方法结合起来。
麻省理工学院计算机科学和人工智能实验室的一名研究生,兼模型创造者之一的Ramya Ramakrishnan表示,“这个模型能帮助自主系统更好地训练,很多时候当系统被部署时,它们之前训练模拟与现实环境可能并不匹配,而且它们可能会犯错误,发生事故。我们的想法是,利用人类自身,以一种安全的方式,在模拟和现实世界之间架起一座桥梁,这样我们就可以减少一些不必要的错误。”