小米团队开发AI系统,修饰图像细节,改善曝光问题
2018年12月05日 由 浅浅 发表
229726
0
我们都经历过这样的事情:你和一群朋友准备用智能手机自拍,但是你不得不后退一步,因为你的曝光不正常,要么太亮要么太暗,你的相机的自动设置没有任何帮助。
小米的研究人员在NeurIPS 2018上提交的一篇新论文“DeepExposure: Learning to Expose Photos with Asynchronously Reinforced Adversarial Learning”中,描述了解决曝光问题的方法。AI系统将图像分割成多个“子图像”,每个“子图像”与局部曝光相关联,随后用于修饰原始输入照片。
研究人员写道:“精确曝光是在计算摄影中拍摄高质量照片的关键,特别是对于受相机模块尺寸限制的手机而言。我们受到专业摄影师通常采用的光度掩模的启发,开发了一种新的算法,用于深入加强对抗性学习来学习局部曝光。”
AI管道名为DeepExposure,通过图像分割来解决问题。接下来是“动作生成”阶段,在此阶段,输入的低分辨率,子图像和图像的直接融合,都由计算每个局部和全局曝光的策略网络连接和处理。在图像通过局部和全局值过滤器之后,模型完成一个完成步骤,其中值函数评估整体质量。最后,子图像与输入图像混合在一起。
这里使用的神经网络是GAN的变种。为了训练鉴别器,研究人员随机选择小批量的机器修饰和专家修饰的照片,提取对比度,照明和饱和度特征并与RGB图像连接以形成输入。
他们在Nvidia P40 Tesla GPU上使用TensorFlow框架训练AI系统,选择的语料库是MIT-Adobe FiveK,一个包含5000张原始照片的数据集,具体来说,他们使用了2000张未经修饰的图像,2000张润色后的图像和1000张原始图像进行测试。
DeepExposure在关键指标中的表现优于最先进的算法,可以在增强亮度和色彩的同时,始终如一地恢复原始图像中的大多数细节和样式。
该团队表示,“我们的方法将深度学习方法和传统的过滤方法联系起来:深度学习方法用于学习过滤器的参数,从而更精确地过滤传统方法,传统方法减少了深度学习方法的训练时间,因为过滤像素要比使用神经网络生成像素快得多。”
论文:papers.nips.cc/paper/7484-deepexposure-learning-to-expose-photos-with-asynchronously-reinforced-adversarial-learning.pdf