在网上购买地毯或布料时，你希望能说出它在现实生活中的样子吗？感谢麻省理工学院计算机科学与人工智能实验室（CSAIL）和法国Inria Sophia Antipolis的研究人员，你距离能够体验到这一点只有一步之遥。

今天在温哥华举行的2018年Siggraph会议期间，该团队联合推出了论文“Single-Image SVBRDF Capture with a Rendering-Aware Deep Network”，一种从照片中提取材料的纹理、高光和阴影的方法，并通过数字再现环境的照明和反射。

研究人员写道，“视觉线索让人类能够感知单个图片中的物质外观。然而，恢复空间变化的双向反射分布函数的四个变量的功能，定义了光如何在一个不透明的表面反射到一个基于这些线索的图像上，这是几十年来计算机图形学的研究人员一直在挑战的问题。我们通过训练一个深层神经网络来自动提取和理解这些视觉线索，来解决这个问题。”

研究人员从大量样本开始。他们采购了800多种艺术家创作材料的数据集，最终从九个不同的类别（油漆，塑料，皮革，金属，木材，织物，石材，瓷砖，地面）中选择了155个高品质套装，在预留了大约十几个用作测试装置之后，将它们渲染在虚拟场景中，以模仿手机摄像头的视野（50度）和闪光灯。

然而，仅仅训练机器学习模型是不够的，因此为了放大材料数据集，研究人员使用了40个CPU的集群来混合和随机化他们的参数。最终，他们生成了20万个色彩逼真的广泛多样化的材料。

下一步是模型训练。该团队设计了一种卷积神经网络预测对应于每像素法线的四个光照图（渲染图像上每个像素的照度值），漫反射反射率（由表面反射的漫射光），镜面反照率（光波的镜像反射）和镜面粗糙度（反射的光泽度）。

为了最小化地图值之间的可变性，他们制定了一个“相似性度量”，将预测地图的渲染与地面实况测量的渲染进行比较。为了确保输出图像的一致性，他们引入了第二种机器学习模型，它将从每个像素提取的全局照明（即从表面反射的光）与本地信息相结合，促进了研究人员写的“来回”在遥远的图像区域之间交换信息。

他们对网络进行了400000次迭代训练，并用iPhone SE和Nexus 5X拍了350张照片，这些照片被裁剪为接近训练数据的视野。结果呢？该模型表现相当不错，成功地再现了金属，塑料，木材，油漆和其他材料上的光的真实反射。

不幸的是，它并非没有局限性。硬件限制将其限制为256 x 256像素的图像，并且它难以再现低动态范围的照片的光照和反射。尽管如此，该团队仍然注意到它很好地概括为真实的照片，并且如果不出意外的话，就表明可以训练单个网络来处理各种各样的材料。