试试这个AI实验:把2D图像转换成3D

2018年03月09日 由 nanan 发表 30772 0
试试这个AI实验:把2D图像转换成3D

2D图像转换为3D

今年1月,Fleisher和Shirin Anlen(该AI的开发人员)写了一个关于图像转换的AI,用来从视频中剔除角色。最近,通过交互式AI实验更新了他们的网站,该实验可将任何平面图像转换为3D。

[video width="740" height="288" mp4="https://www.atyun.com/uploadfile/2018/03/volume.mp4" loop="true"][/video]

我们以前也见过类似的AI,但这次做的不仅仅是面部重建。它可以给任何网络摄像头提供Kinect般的能力,因此训练一个AI来转换任何类型的图像会产生一个不同的挑战,而不是训练一个人来转换特定的东西,就此Fleisher表示:

“它在某些方面是有所不同的。虽然构建和训练这种深度神经网络的机制有相似之处,但我们创建理解人体和环境模型的使命需要大量数据……目前,我们正在为不同的任务训练一些模型,并开发一种识别图像中主要元素的分类方法。一旦我们知道该期待什么,我们就可以选择一种模型,它对3D的效果有了更精确的理解。这与将许多知识积累到单一机器学习模型的其他方法完全不同。它仍在进行中,但我们希望继续对网络进行训练,以获取更多所需的知识,以便从2D图像和视频重建3D人物和环境。”

[video width="460" height="258" mp4="https://www.atyun.com/uploadfile/2018/03/volume2.mp4" loop="true"][/video]

Fleisher还告诉我们,用户通过自己的实验,为Volume提供了大量有价值的反馈:

“很重要的一点是,我们不会分享用户上传的任何数据。然而,我们会用它来评估机器学习模型,以便更好地理解什么可行,什么不可行。我们的目标是通过我们的新网站向公众开放我们的API,同时也了解人们对于这种功能的倾向、趋势和欲望。我们还鼓励用户在社交网站上分享他们的作品。我们相信,通过反映我们在网上对人们所做的工作,我们将能够将其发展成为一个有效的创新工具。”

Volume是作为将平面2D图像转换为3D图形和环境的端到端解决方案而开发的。虽然API仍处于早期开发阶段,但很容易看到它成为视频编辑和游戏开发人员的首选应用程序套件。而且,根据Fleisher的说法,Volume将继续获得新功能:

“我们也在研究一些更受欢迎的领域,例如图像增强。我们尝试并构建了一个名为ReTouch的应用程序,该应用程序允许在2.5D中使用深度估计来修饰图像,这都是开源的。据说,Volume API 的目的是鼓励在不同领域和用途中使用相同的技术。通过将Volume构建为云,计算机视觉API,我们可以为不需要将其用于相同目的的人提供与3D重建相同的结果。”

[video width="600" height="468" mp4="https://www.atyun.com/uploadfile/2018/03/volume3.mp4" loop="true"][/video]

你可以在团队网站上查看Volume API并使用AI将自己的图像转换为3D。

3D网格转换成机器针织模式

试试这个AI实验:把2D图像转换成3D

CMU的一组研究人员创造了一种通用的方法,将3D设计软件包生成的模型文件转换成针织模式,可以将针织模式输入到各种计算机针织机中,然后通过针织它来“打印”实体。

纺织品艺术家早就指出,针织和其他纤维艺术是3D打印的一种形式,并且3D打印人员和针织人员之间一直存在着一种健康的交叉。

总的来说,虽然我们认为当前系统的输出非常好,但我们怀疑使用闭环设计过程的未来工作可能会产生更高的精确度。这样的过程可以包括通过考虑变形来优化输入网格,以更好地匹配期望的输出形状,例如建模气球,或与我们的系统集成纱线和针迹级别的针织仿真工具。我们也看到了使用stitch级编辑工具的机会,比如Yuksel等人开发的工具,这是一种允许高级用户对我们的算法输出进行详细编辑的方法。

我们结果的几何精度受限于用于编织它们的针迹的大小。这个尺寸反过来取决于机器的尺寸,一般在毫米级。不能表现出比针脚尺寸小的特征。

 

 
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消