研究人员使用AI对照片中的人脸进行去模糊处理
2020年01月23日 由 TGS 发表
189061
0
用手机抓拍高速度物体照片非常困难,往往只能得到一堆模糊到看不清的照片。为了寻找解决方案,阿拉伯联合酋长国人工智能研究所、北京理工大学和石溪大学的科学家们联合开发了一种人工智能系统,可以在后期制作中去除图像中的模糊。他们在一篇论文中指出,这是一种可以感知人脸的技术,也就是说,它可以对人脸进行去模糊处理,而且与最先进的动态去模糊方法相比,它的表现非常抢眼。
由于相机和物体之间的相对运动,前景和背景往往会经历不同类型的退化。另外,由于受试者与图像平面之间的距离,他们会经历不同的运动。研究人员的模型学习并利用人类和背景遮罩,通过分离前景和背景模糊来捕捉模糊。为了训练该模型,研究人员编译了一组数据集,包括覆盖了数千个户外场景、复杂背景和各种前景运动的模糊图像和地面真相清晰图像,每一对都是通过一个人类检测模型进行输入的,该模型在受试者周围提供了“大致准确”的边界框,这些边界框后来由人类注释器进行了改进。
研究人员使用一台只有Nvidia Titan X显卡的机器,在部分HIDE和GoPro Hero的补充视频帧数据集上训练他们的去模糊模型,总共有10742张图像。研究人员说,他们的模型在动态去模糊方面达到了最先进的性能,并且与几个基线相比,得到了更好的恢复效果。
通过综合融合不同领域的去模糊特征,模型能够重建具有清晰结构和语义细节的图像。这样的设计导致了一个统一的、人性化的、细心的去模糊网络。通过明确和独立地建模,可以更好地捕捉人的各种运动模式和丰富的语义,从而为(前景)人和环境(背景)带来更好的去模糊效果。该模型技术并非唯一,英伟达、麻省理工学院和阿尔托大学最近也提出了一种机器学习技术,可以降低图像模糊。