多位AI研究人员联名,反对亚马逊向执法部门出售面部识别软件
2019年04月05日 由 明知不问 发表
555208
0
由大约二十多名在科技和学术界工作的人工智能研究人员共同发表了一封信,呼吁亚马逊AWS停止向执法机构出售面部识别软件Rekognition。
那些反对执法人员使用Rekognition的专家包括深度学习杰出人物和最近的图灵奖得主Yoshua Bengio,加州理工学院教授和前亚马逊首席科学家Anima Anandkumar,以及计算机视觉和机器学习领域的研究人员,比如来自Google AI,Microsoft Research,和Facebook AI的研究者。
佛罗里达州和华盛顿州的警察部门已经使用了Rekognition技术,据报道,它已被提供给国土安全部来识别移民。
信中写道,“我们呼吁亚马逊停止向执法部门出售Rekognition,因为立法和防止滥用的保障措施尚未到位,尚且没有标准来确保部门以不侵犯公民自由的方式使用Rekognition。”
研究人员引用了隐私倡导者的工作,他们担心对计算机视觉系统技术方面缺乏了解的执法机构可能会犯严重错误,例如将无辜的人送进监狱,或者盲目信任自主系统。
“这些自动化工具的决策看起来也可能比它们实际上更正确,这种现象被称为'自动化偏见',或者可能过早地限制人为驱动的关键分析。”
该研究还批评Rekognition将性别定为男性或女性,这种方法可能导致错误分类,他们引用了Os Keyes的研究成果,他们对性别认同研究的分析发现很少有包含变性人的工作实例。
这封信反驳了亚马逊深度学习和人工智能总经理Mathew Wood以及全球公共政策负责人Michael Punke所提出的论点,Punke拒绝了接受近期审查的结果,即Rekognition在31%的情况下将肤色较深的女性误认为男性。
这项分析研究了商用面部分析工具的性能,由Inioluwa Deborah Raji和Joy Buolamwini于今年1月在AAAI/ACM人工智能伦理与社会会议上发表。一年前一项报告“Gender Shades”发现面部识别软件,如Face ++和微软都对识别肤色深的人,尤其是有色女性的能力有限。
同名报告作者的谷歌研究员Timnit Gebru也签署了今天发布的信件。
今天发布的信中称,在多篇博客文章中,Punke和Wood歪曲了工作的技术细节以及面部分析和面部识别方面的最新技术。这封信还驳斥了他们的一些具体主张,比如断言面部识别和面部分析有着完全不同的技术基础。
相反,信中表示许多机器学习研究人员认为这两者密切相关,面部识别数据集可用于训练面部分析模型。“因此,与Wood博士的说法相反,一个系统中偏见将会引起另一个系统的问题,特别是在可能严重影响人们生活的用例中,例如执法应用程序。”
在美国参议院议员提出立法规范面部识别软件使用的几周后,这封反对执法部门使用Rekognition的信件就出现了。就亚马逊而言,它欢迎某种形式的监管或立法框架,而微软则敦促联邦政府在执法机构滥用面部识别软件之前对其进行监管。