IBM提倡公开AI开发情况说明书,以增加透明度和公众的信任感
2018年08月23日 由 浅浅 发表
419054
0
我们正处于大规模采用AI的关键时刻,但对其安全性,透明度和偏见的疑虑仍然存在。
IBM认为部分问题在于缺乏标准实践。
IBM研究院的AI基金会负责人,AI Science for Social Good计划的联合主席Aleksandra Mojsilovic今天表示,创建,测试,训练,部署和评估AI服务没有一致的,广泛认可的方式。同样不清楚这些系统应该如何运作,以及它们应该(或不应该)怎样使用。
为了消除围绕人工智能的模糊性,Mojsilovic及其同事提出了自愿的情况说明书,正式名为“Supplier’s Declaration of Conformity”,将由开发和提供AI的公司完成并发布,其目标是增加他们的服务的透明度并对他们产生信任。
Mojsilovic认为,这样的情况说明书可以为市场上的公司提供竞争优势,类似于家电公司获得能源之星能源效率的产品。
“就像食品的营养标签或家用电器的信息表一样,AI服务情况说明书将提供有关产品重要特征的信息,”Mojsilovic写道,“AI的信任问题是IBM和许多其他技术开发商和提供商的首要考虑因素。AI系统具有改变我们生活和工作方式的巨大潜力,但也存在一些漏洞,例如暴露偏见,缺乏可解释性以及易受敌对攻击。必须解决这些问题才能使AI服务受到信任。”
Mojsilovic解释说:几个核心支柱构成了AI系统信任的基础:公平性,鲁棒性和可解释性。公认的人工智能系统可以被认为不包含有偏见的算法或数据集,或者导致对某些群体的不公平待遇。人们认为,强大的AI系统不会受到敌对攻击和操纵。可解释的AI系统不是一个“黑匣子”,它们的决定是研究人员和开发人员都能理解的。
“就像一个物理结构一样,信任不能单独建立在一个支柱上。如果AI系统公平但无法抗拒攻击,则不会受到信任。如果它是安全的但我们无法理解它的输出,那么它将不被信任。要构建真正值得信赖的AI系统,我们需要将所有支柱加强在一起。我们的综合研究和产品战略旨在实现这一目标,在各方面取得进展,将信任的地位提升到位。”
第四个支柱“血统”涉及AI系统的历史。Mojsilovic说,文档应该阐明算法的“开发,部署和维护”,以便在整个生命周期内对其进行审计。
这就是情况说明书的用武之地,它们将回答系统操作和训练数据到基础算法,测试设置和结果,性能基准,公平性和鲁棒性检查,预期用途,维护和再训练等各种问题。更细粒度的主题可能包括用于跟踪AI服务的数据工作流的治理策略,测试中使用的方法以及对数据集执行的偏差缓解。
对于自然语言处理算法,研究人员提出了“数据语句”,它将显示如何推广算法,如何部署算法以及可能包含哪些偏差。
自然语言处理系统并不像面部识别那样充满争议,但他们因偏见的易感性而受到抨击。
Mojsilovic和IBM的团队当然有他们的工作要做。广为人知的事件,如有种族偏见的累犯算法,高度不准确的面部检测系统,以及容易碰撞的自动驾驶汽车没有任何好处。InsideSales进行的一项调查发现,41.5%的受访者无法举出他们所信任的AI的例子。
IBM,微软,埃森哲,Facebook和其他公司正在积极研究检测和减少偏见的自动化工具,像Speechmatics和Nuance这样的公司已经开发出专门用于最小化所谓“重音差距”的解决方案,语音识别模型的趋势偏向某些地区的发言者。但在Mojsilovic看来,详细说明系统来龙去脉的文件将大大有助于恢复公众对AI的信心。
“公平,安全,可靠,可解释性,鲁棒性,责任感,我们都同意这些是至关重要的。然而,要实现对AI的信任,在这些问题上取得进展是不够的,它必须伴随着在每个维度上衡量和传达系统性能水平的能力,理解和评估AI系统对于AI社区来说是一个至关重要的问题,我们认为行业,学术界和AI从业者应该共同努力。”