不会跳舞?AI来帮忙,一秒变舞王
2018年08月27日 由 浅浅 发表
226041
0
AI用于操纵人们的视频时,是一种非常有力的工具。面部交换deepfake是最明显的例子,最新的deepfake是为跳舞而生的,它使用AI来读取某人的舞蹈动作并将其复制到目标身体上。
[video width="1280" height="720" mp4="https://www.atyun.com/uploadfile/2018/08/Everybody-Dance-Now.mp4"][/video]
这种是由加州大学伯克利分校的四位研究人员完成的。正如他们在arXiV上发表的一篇论文中所述,他们的系统由许多不连续的步骤组成。首先,记录目标的视频,并且子程序将它们的运动变成线图(为了获得高质量的迁移,需要大量的视频;大约20分钟的镜头,每秒120帧)。然后,找到一个源视频和一个由他们的动作组成的线图。然后,迁移发生,神经网络基于源线图运动合成目标个体的视频。
当然这听起来很简单,但这里有很多复杂的工程。例如,有一个子程序可以平滑线图的运动,因此舞者不会过多地晃动,而是一个完全独立的神经网络,专门用于重新追踪目标的面部以确保真实感。
该方法也有局限性。例如,网络无法准确地模拟松散的衣物,因此目标个体必须穿紧身衣服。在上面的视频中,你还能看到不少视觉异常,目标和源舞者的关节不完全对齐,或者AI软件无法复制复杂动作,例如从后向前翻转的手。
尽管如此,这仍然令人印象深刻。这种视频操作可能需要一整天的时间来制作。现在,只需要一些源视频和AI软件就可以实现了。
论文:arxiv.org/pdf/1808.07371.pdf
更多图像识别数据集点击“这里”下载