应用程序为人们提供多种自动化决策，例如识别个人的信用风险是什么，通知招聘人员雇用哪个求职者，或确定某人是否对公众构成威胁。近年来，新闻警告说，未来机器在社会背景下运作，在使用不值得信任的逻辑的同时决定人类的生活方式。

这种恐惧的一部分源于许多机器学习模型运作的模糊方式。它们被称为黑盒模型，在这种系统中，即使是开发人员也无法理解从输入到输出的旅程。

“随着机器学习变得无处不在，并被用于具有更严重后果的应用程序，人们需要了解它是如何进行预测的，这样当它做的不仅仅是提供广告时，它们会相信它，”麻省理工学院林肯实验室的信息学和决策支持小组的技术人员Jonathan Su说。

目前，研究人员要么使用事后技术，要么使用可解释的模型（如决策树）来解释黑盒模型如何得出结论。利用事后技术，研究人员观察算法的输入和输出，然后尝试对黑盒内发生的事情进行近似解释。这种方法的问题在于研究人员只能猜测内部运作，而解释往往是错误的。决策树在树状结构中映射选择及其潜在后果，可以很好地处理其特征有意义的分类数据，但这些树在重要领域中无法解释，例如计算机视觉和其他复杂数据问题。

Su带领一个实验室的团队与杜克大学的Cynthia Rudin教授以及杜克大学的学生Chaofan Chen，Oscar Li和Alina Barnett合作，研究用更透明的预测方法取代黑盒模型的方法。他们的项目称为适应性可解释机器学习（Adaptable Interpretable Machine Learning,AIM），侧重于两种方法：可解释的神经网络以及可适应和可解释的贝叶斯规则列表（BRL）。

神经网络是由许多互连的处理元件组成的计算系统。这些网络通常用于图像分析和对象识别。例如，可以教导算法通过首先显示狗的照片来识别照片是否包括狗。研究人员表示，这些神经网络的问题在于它们的功能是非线性和递归的，对人类来说是复杂和令人困惑的，最终的结果是难以确定究竟是什么将照片中的事物定义为“dogness”，是什么导致了这个结论。

为解决这个问题，该团队正在开发所谓的“原型神经网络”。这些与传统神经网络的不同之处在于，它们通过创建原型自然地为每个预测编码解释，原型是输入图像的特别代表性部分。这些网络基于输入图像的各部分与每个原型的相似性来进行预测。

例如，如果网络的任务是识别图像是狗，猫还是马，它会将图像的各个部分与每只动物的重要部分的原型进行比较，并使用此信息进行预测。关于这项工作的论文：“This looks like that: deep learning for interpretable image recognition”。之前的一篇论文“Deep Learning for Case-Based Reasoning through Prototypes: A Neural Network that Explains Its Predictions”，将整个图像用作原型而不是部分。

研究小组正在研究的另一个领域是BRL，它是一种不那么复杂的单侧决策树，适用于表格数据，并且通常与其他模型一样准确。BRL由一系列条件语句组成，这些条件语句自然形成可解释的模型。例如，如果血压高，则患心脏病的风险很高。Su及其同事正在使用BRL的属性来使用户能够指出哪些特征对预测很重要。他们还在开发交互式BRL，可以在新数据到达时立即进行调整，而不是在不断增长的数据集中从头开始重新校准。

Stephanie Carnell是佛罗里达大学的研究生，也是信息学和决策支持小组的暑期实习生，他正在将AIM项目的互动BRL应用到一个项目中，以帮助医学生更好地面试和诊断患者。目前，医学生通过采访虚拟患者并获得他们能够发现多少重要诊断信息的分数来练习这些技能。但是得分并不包括对学生在面试中所取得的成绩的解释。AIM项目希望改变这一点。

“我可以想象，大多数医学生都非常沮丧地接受关于成功的预测而没有一些具体的理由，”Carnell说，“AIM生成的规则列表应该是为学生提供数据驱动，可理解的反馈的理想方法。”

AIM计划是人体系统工程实验室正在进行的研究的一部分，设计与人们思考和运作方式更加兼容的系统的实践，例如可理解的算法，而不是模糊的算法。

“实验室有机会成为将人类和技术结合在一起的全球领导者，”信息学和决策支持小组助理领导人Hayley Reynolds说，“我们正处于巨大进步的前沿。”

Melva James是参与AIM项目的信息学和决策支持小组的另一位技术人员，“我们在实验室开发了BRL和交互式BRL的Python实现，我们正在同时测试不同操作系统和硬件平台上BRL和交互式BRL实施的输出，以建立可移植性和可重复性。我们还在确定这些算法的其他实际应用。”

Su解释说：“我们希望为实验室建立一种新的战略能力，即机器学习算法，让人们了解它们以便相信它们。”

论文：arxiv.org/abs/1806.10574