网易利用人工智能从自拍中创造3D游戏角色

2019年09月12日由 KING 发表 49261 0

在角色扮演游戏（RPG）中，如现代经典犯罪游戏侠盗猎车手，许多玩家是根据自己的形象来塑造游戏中的角色。但是现在的内置字符定制系统越来越复杂，它们可能需要手动调整数十个甚至数百个参数，要花费几个小时才能完成。

游戏巨头网易（netease）的研究人员开发了一种新方法，可以根据标准的人像照片自动创建玩家在游戏中的角色。他们详细介绍了这种方法，即面向参数的游戏角色自动生成方法。角色生成过程从玩家的照片开始，它被用作一个基于深度学习的框架训练输入，该框架包括一个模仿者模块和一个特征提取器。

模仿者模块的目的是模拟游戏引擎的行为，自动创建一个风格与照片风格一致的角色(由游戏引擎生成)。它首先以用户自定义的面部参数，如发型、眉毛、胡须和嘴唇等为基础，由深度学习的网络框架生成最终渲染的面部图像。然后特征提取器利用特征空间，在神经传递框架下进行人脸相似度检测，利用梯度下降法对人脸参数进行优化。从本质上讲，这是一个跨域（从现实世界的图像到3D动画角色）图像相似度的度量问题。但是如何保证跨域转换过程中整体外观和局部细节的准确性呢？研究人员利用一个深度卷积神经网络和多任务学习来解决这个问题。他们的解决方案是利用两个精心设计的损失函数：辨别损失和面部内容损失函数。例如，一个人的面部形状和面部特征都包含在整体外观中，而更具体的局部特征，如给定区域内的阴影，也可以进行分析。研究人员还介绍了3D人脸重建方法，它创建了一个骨骼驱动的模型，不同于其他生成三维人脸网格的三维人脸重建方法。因此，该模型预测了一组具有更明确物理意义的面部参数。

自动生成过程不仅限于自拍照片，它还可以支持具有艺术特色的照片输入，如素描和漫画。研究人员认为，用这种方法生成的3D字符与输入的2D图像具有很高的相似性，因为这种方法依靠的是面部语义，而不是原始像素。虽然新方法可以自动生成游戏中的角色，但玩家也可以将其作为自己DIY角色创建过程中的辅助工具。研究人员说，这种方法还可以根据用户的需求进一步调整细节和进行其他更改。目前这种方法已经被国内玩家使用了一百多万次。

标签：

行业深度学习网易

0 评论

欢迎关注ATYUN官方公众号

商务合作及内容投稿请联系邮箱:bd@atyun.com

上一篇使用Tensorflow Lite在Android上构建自定义机器学习模型

下一篇百度向东软投资14亿用于AI领域的合作

评论登录

要发表评论，您必须先登录。

jonatasgrosman/wav2vec2-large-xlsr-53-english facebook/dino-vitb16 bert-base-uncased xlm-roberta-large xlm-roberta-base gpt2 microsoft/resnet-50 facebook/dino-vits8

Sam Altman离职事件时间线