从选择股票到检查X光，人工智能正越来越多地被用于帮助人类做决策。但是人工智能只能对它所训练的数据做出好的反应，而且在很多情况下，我们最终会把太过人性化的偏见放到可能对人们的生活产生巨大影响的算法中。

在arXiv发表的一篇新论文中，研究人员表示，他们可能已经找到了一种方法来缓解黑箱算法中出现的偏见问题。

• 论文地址：https://arxiv.org/abs/1710.06169

对于偏见来说，一个特别令人不安的领域出现在风险评估模型中，这个模型可以决定一个人获得保释或批准贷款的机会。在这种情况下考虑种族这样的偏见因素通常是违法的，但算法可以学会识别和利用这样的一个事实，即一个人的教育水平或家庭住址可能与其他的人口信息相关联，种族偏见和其他偏见可能通过这些信息有效地渗透到它们的“脑海”中。

让这个问题变得更加棘手的是，许多人工智能都是用黑箱做出选择——要么它们太复杂，难以理解，要么它们是公司拒绝解释的专有的算法。研究人员一直在研究这个问题，以了解其背后的情况，但这个问题是普遍存在的，而且还在不断增长。

在上面提到的论文中，Sarah Tan和同事在两个黑箱风险评估模型中尝试了他们的方法:第一个是关于同等规模公司LendingClub的贷款风险和违约率。第二个是Northpointe，该公司为全国各地的法院提供算法服务来预测被告的再次犯罪风险。

研究人员使用了两种方法来阐明这些潜在的偏见算法是如何工作的。首先，他们创建了一个模仿黑箱算法的模型，并根据最初的数据集提出了一个风险评分，就像LendingClub和Northpointe那样。然后他们建立了第二个模型，他们对现实世界的结果进行了训练，用它来确定初始数据集的哪些变量在最终结果中是重要的。

在LendingClub的案例中，研究人员分析了从2007年到2011年一系列到期贷款的数据。LendingClub的数据库包含了许多不同的领域，但研究人员发现，该公司的贷款模式可能忽视了申请者的年收入和贷款的目的。收入被忽视掉是情有可原的，因为它可能被申请者虚报或是伪造的。但是，贷款的目的与风险高度相关，比如，小额企业的贷款风险比那些为筹备婚礼而贷款的人要高得多。因此，LendingClub似乎忽视了一个重要变量。

与此同时，Northpointe表示，该公司的COMPAS算法在对判决提出建议时，并不会将种族作为变量。然而，在ProPublica（美国一家非政府、非盈利的网络新闻机构）的一项调查中，记者们收集了一些关于被告的种族信息，这些被告在COMPAS的帮助下被判刑，并发现了种族歧视的证据。在他们的模拟模型中，研究人员使用了ProPublica收集的数据，以及关于被告年龄、性别、指控程度、先前定罪次数以及之前的监狱停留时间的信息。该方法与ProPublica的发现一致，这表明，COMPAS可能会对某些年龄和种族群体产生偏见。

批评者可能会指出，这些并不是准确的结果，研究者们正在进行大量的推测。但是,如果一个算法背后的公司不愿公开其信息在它的系统上是如何工作的,那么了解这个研究中近似模型则也是一个合理的方法,马萨诸塞州大学的助理教授Brendan O'Connor说道，他曾发表了一篇关于自然语言处理偏见的论文。Connor还表明，人类需要意识到这种情况正在发生，而不是闭上眼睛，装作没有发生一样。

• 论文地址：https://www.technologyreview.com/s/608619/ai-programs-are-learning-to-exclude-some-african-american-voices/

当我们使做决策越来越自动化时，可能就会理解人工智能是如何变得越来越重要。