Facebook用AI完成虚拟现实渲染

2019年11月20日由 TGS 发表 418107 0

Foveated rendering在前段时间提出了一个解决VR头戴设备视觉呈现挑战的方案，能够为眼睛的视觉最佳点呈现清晰的细节，并提供了一个周边视觉呈现更简单、更模糊的版本。近日，Facebook现实实验室的工程师们提出了DeepFovea，以人工智能代替该方案，它可以创建“貌似合理的外围视频”，而不是实际呈现精确的外围图像。

这个新过程被称为“凹形重建”，Facebook表示，AI代替方案在RGB视频上实现了超过14倍的压缩，并能保证用户的感知质量不会有显著下降。在捕捉视频流时，DeepFovea只对每个视频帧中10%的像素进行采样，主要聚焦(但不完全聚焦)用户眼睛聚焦的区域。

相比之下，周边区域仅由分散的点采样，这些点离眼睛的焦点区域越远，密度越小。然后，该系统会使用训练有素的生成对抗神经网络，从微小样本中重建每一帧，以稳定的方式填充细节。

如上图所示，未完全采样的蜥蜴头在帧与帧之间，基本上无法区分，同时，“重建”图像中，相邻的树皮没有“参考”像素那么清晰且详细。传统的中央凹渲染系统会将这些像素描绘成低分辨率的平面阴影块，而深凹重建则会保留更多的原始形状和颜色。

DeepFovea之所以重要，是因为与标准的中心凹渲染相比，它提供了更高的功率效率和图像质量。Facebook的说法是，渲染量减少了14倍，意味着能够向依赖于凝视检测的显示器提供实时、低延迟的视频，这是构建轻量级虚拟现实和AR眼镜的必要步骤。

去年，Facebook的Michael Abrash在Oculus Connect 5上首次暗示了DeepFovea的基本概念，如今则是提出了具体方案。而在未来五年中，他们将着重研究把基于深度学习的Fovea和良好的眼动跟踪技术结合在一起，以实现更高分辨率的虚拟现实。

Facebook并没有在开发下一代VR设备的计划中把DeepFovea单独保留下来，而是为研究人员、虚拟现实工程师和图形工程师发布了一个网络架构的示例版本。该公司将在今晚的SIGGRAPHASIA上提交基础研究论文，这对于虚拟现实来说，将是值得铭记的小小里程碑。

论文地址

标签：

行业 Facebook

0 评论

欢迎关注ATYUN官方公众号

商务合作及内容投稿请联系邮箱:bd@atyun.com

上一篇眼动追踪技术，决定VR未来的关键？

下一篇利用AI识别秘鲁纳斯卡线中的新地理标志

评论登录

要发表评论，您必须先登录。

jonatasgrosman/wav2vec2-large-xlsr-53-english facebook/dino-vitb16 bert-base-uncased xlm-roberta-large xlm-roberta-base gpt2 microsoft/resnet-50 facebook/dino-vits8

Sam Altman离职事件时间线