不会跳舞?AI来帮忙,一秒变舞王

2018年08月27日 由 浅浅 发表 226041 0
AI来帮忙,一秒变舞王

AI用于操纵人们的视频时,是一种非常有力的工具。面部交换deepfake是最明显的例子,最新的deepfake是为跳舞而生的,它使用AI来读取某人的舞蹈动作并将其复制到目标身体上。

[video width="1280" height="720" mp4="https://www.atyun.com/uploadfile/2018/08/Everybody-Dance-Now.mp4"][/video]

这种是由加州大学伯克利分校的四位研究人员完成的。正如他们在arXiV上发表的一篇论文中所述,他们的系统由许多不连续的步骤组成。首先,记录目标的视频,并且子程序将它们的运动变成线图(为了获得高质量的迁移,需要大量的视频;大约20分钟的镜头,每秒120帧)。然后,找到一个源视频和一个由他们的动作组成的线图。然后,迁移发生,神经网络基于源线图运动合成目标个体的视频。

AI来帮忙,一秒变舞王

当然这听起来很简单,但这里有很多复杂的工程。例如,有一个子程序可以平滑线图的运动,因此舞者不会过多地晃动,而是一个完全独立的神经网络,专门用于重新追踪目标的面部以确保真实感。

该方法也有局限性。例如,网络无法准确地模拟松散的衣物,因此目标个体必须穿紧身衣服。在上面的视频中,你还能看到不少视觉异常,目标和源舞者的关节不完全对齐,或者AI软件无法复制复杂动作,例如从后向前翻转的手。

尽管如此,这仍然令人印象深刻。这种视频操作可能需要一整天的时间来制作。现在,只需要一些源视频和AI软件就可以实现了。

论文:arxiv.org/pdf/1808.07371.pdf

更多图像识别数据集点击“这里”下载
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消