Facebook与谷歌大脑等开发AI系统改善人体姿态预测
2019年01月25日 由 浅浅 发表
629696
0
预测3D人体姿态对于机器人技术,计算机图形学和其他主要关注运动学的领域十分重要。姿态预测是应用AI的一项任务,但在研究中遇到了障碍:它以不自然的方向拉伸数字关节和骨骼,尤其是当关节旋转时。
Facebook的AI研究部门,谷歌大脑和苏黎世联邦理工学院的新研究有望解决这个问题。在论文“Modeling Human Motion with Quaternion-based Neural Networks”中,研究人员描述了一个AI系统QuaterNet,通过将关节旋转表示为四元数的复杂数字系统,以及惩罚关节位置错误来改善姿态生成。
循环神经网络用于执行短期和长期姿态预测,而卷积神经网络应用于长期生成运动。但由于人体姿势的内在随机性,即使是完美的模型仍然难以捉摸。
研究人员写道,“人体运动是一个具有高度不确定性的随机过程,对于给定的过去,将会有多个可能的未来帧序列,并且不确定性会随着时间增加。”
大多数模型使用转换运算符来预测给定姿态的下一个姿态。它们从摄取的记录帧中输出记录的目标帧,这在很大程度上是有效的。但这并没有暴露他们自己的错误,因此会阻止它们恢复这些错误。
相比之下,研究人员提出的系统采用卷积神经网络,可以查看过去的帧,随着时间的推移学习进行长期预测,因为它逐渐暴露于自己的预测中。同时,损失函数(将一个或多个变量的值映射到实数上的函数)通过输入关节旋转计算每个关节的位置。这既改善了模型的稳定性,又减少了误差。
为了验证该模型的短期姿势预测能力,研究人员选择了Human3.6M,这是一个开源3D人体姿态数据集,包含7名人员执行15次动作的360万个人类姿态以及相应的图像。在包含运动样本的不同数据集上评估长期生成测试。
在短期预测任务中,团队报告了Human3.6M基线的改进。在长期姿态生成的情况下,其目标是生成给定平均速度和地面轨迹的姿态序列,将模型定性地与最近的工作进行比较,同时允许更好地控制时间和空间。
未来的研究将QuaterNet扩展到其他与运动相关的任务,例如动作识别或视频的姿态估计,以及使用直接在四元数域中执行计算的神经网络。
论文:
arxiv.org/pdf/1901.07677.pdf