近年来，研究人员一直试图通过开发能够解释它们的行为和行为的算法，让人工智能变得更加透明，这可以鼓励人们更加信任机器，并增强人类与AI的互动。但到目前为止，很少有研究能够切实评估对人工智能的解释对涉及其协作的任务的影响。

SRI International的一组研究人员根据流行游戏《20个问题》（20Q）设计了一款人工智能图像猜谜游戏，该游戏可以用来评估机器解释的实用性。这是第一批探索开发更多可解释的人工智能的效果的论文之一。

SRI International的计算机科学家Arijit Ray表示，“在我们开展DARPA项目的过程中，对这个问题有了更多的想法，我们开发可解释的AI系统，它不仅可以生成所需的输出（例如，对象检测，问题的答案等），还可以解释它们如何到达输出。我们需要一种机制来评估AIs提供的额外解释是否有助于用户更好地理解AI系统。”

为此，团队创建了一个交互式人工智能协作任务ExAG，这改编自著名的20Q游戏，以展示正在开发的各种机器解释技术的有效性。

该游戏与20Q非常相似，通常涉及两个玩家。在20Q中，一个玩家考虑一些事情，另一个玩家通过询问20个封闭式问题（即只能用“是”或“否”回答的问题）来猜测。

ExAG向用户显示了五个图像，其中一个被AI系统选择为“秘密图像”。基本上，用户需要通过询问有关它的自然语言问题来确定玩家看到的图片中的哪一个是“秘密图像”。

与传统的20Q游戏相比，在ExAG中，玩家可以提出封闭式和开放式问题。例如，他们可以问“图像中有什么”“拍摄的图像在哪里” 等。AI系统一次一个地回答用户的问题，并且可以选择性地解释其答案。

基于这些答案，用户将尝试猜测AI最初选择的图像。游戏的最终目标是用尽可能少的问题来正确识别“秘密图像”。

人工智能系统提供两种解释模式，即视觉和文本，对于视觉解释，AI系统会生成热图，突出显示支持其答案的区域。例如，如果玩家询问图像中的内容，看起来像狗，AI会突出显示狗区域，并说这就是导致“它是一只狗”答案的原因。

另一方面，对于文本解释，AI系统为每个图像提供相关问题的答案。例如，如果你问一个人在做什么，而答案是冲浪，那么它也会回答相关的问题，比如，问：我在图像中看到了什么？答：冲浪者；问：这张照片在哪里拍的？答：海滩上。

由于猜图游戏的性质，人工智能提供的答案和解释的质量会显著影响玩家的成功和表现。值得注意的是，目前最先进的视觉问题回答性能约为65%，这意味着人工智能系统在65%的情况下生成正确答案。

玩家通过利用人工智能的解释成功地通关ExAG，尤其是当答案本身是错误的时候。例如，如果“秘密图像”描绘的是一只狗，而人工智能回答“它是一个冲浪者”，那么视觉解释可能会帮助人类用户意识到人工智能的错误。研究人员表示，这证明了该游戏是评估人工智能解释的有用性的合适工具。

“在我看来，研究中最有趣的结果是，当AI答案大多错误时，玩家可以使用一些好的解释来赢得比赛，相比之下，对于具有相似答案准确度但没有解释的游戏，玩家盲目地信任AI生成的答案并输掉游戏。这支持了人工智能协作系统的一些好解释的重要性，特别是当AI系统是这种情况在大多数情况下是不完美的。“



为了更好地解释这个想法，Ray举了自动驾驶车辆的例子。在过去几年中，关于它们的安全问题一直存在很多争议，Ray表示，有效的AI解释可以鼓励人们更加信任自动驾驶车辆的安全性，因为它们可以让人类驾驶员事先发现问题并防止事故发生。

“例如，让我们假设AI系统在检测通道时遇到了麻烦，由于道路目前是直的，没有额外的信息，用户将无法判断AI是否失败。即使他有一些疑虑，但他们也可能不会做任何事情，直到最后一刻，当汽车必须转弯以避免碰撞，就已经太迟了。相反，如果车内的屏幕显示人工智能如何感知环境，例如热图，用户就可以看出AI潜在的隐患并提前控制方向盘。”

研究人员发现，有用的解释会对图像猜测游戏中人类用户的表现产生积极影响。他们的研究结果表明，至少有一个正确的解释是非常有用的，有趣的是，玩家更倾向于对答案进行解释，并且经常将AI解释评为有用的。

能够清楚地解释其行动背后的推理和流程的人工智能系统将是智能机器发展的重要一步。通过有效地回答问题并使其决策合理化，这些系统可以培养对AI的更大信任感，以及与AI的更深层次的关系。

到目前为止，Ray及其同事的工作主要集中在视觉问答（VQA）任务，用户在这里询问有关图像和AI答案的问题。他们现在正计划继续研究人工智能解释技术，将这些技术应用于更广泛的人工智能任务。

除了探索AI解释对人类用户的表现和感知的影响之外，研究人员还想研究它们对AI系统本身的影响。他们认为AI解释也可以使AI系统本身变得更好，因为它们会逐渐提高推理能力并合理化技能。

论文：

arxiv.org/pdf/1904.03285.pdf