Meta AI推出创新技术:实现动态3D头像高精度重光

2023年12月12日 由 daydream 发表 376 0

Meta AI的研究人员们在一个突破性的举措中解决了动态3D头部头像高保真照明调整的长期挑战。传统方法在捕捉面部表情的精细细节方面,尤其是在效率至关重要的实时应用中,往往是跟不上的。Meta AI研究团队为了应对这一挑战,推出了一种新方法——可照明高斯编码头像,这种方法有望重新定义头像真实性的标准。


研究团队所解决的核心问题是需要更清晰地捕捉动态面部序列中的亚毫米细节,比如头发丝和毛孔。困难在于有效地对人类头部的多种材料进行建模,包括眼睛、皮肤和头发,同时要适应各种频率的反射。现有方法的局限性促使人们需要一个既能无缝地融合真实性又能实时表现的创新解决方案。


现有的可以调整照明的头像方法在实时表现和保真度之间挣扎着寻求平衡。一个持续的挑战是需要一种方法,能够在实时应用中捕捉动态面部细节。Meta AI的研究团队认识到了这一缺口,并引入了“可照明高斯编码头像”作为一种转变性的解决方案。


Meta AI的方法引入了一个基于3D高斯的几何模型,提供了扩展到亚毫米精度的精确度。这是捕捉动态面部序列中的一个显著飞跃,确保头像展示出生动的细节,包括头发和毛孔的细微之处。这种创新方法的一个关键组成部分是可照明外观模型,它建立在可学习的辐射传输基础之上。


微信截图_20231212113139


这些头像的精妙之处在于它们构建头像的全面方法。以3D高斯参数化的几何模型构成了头像的骨架,允许使用高斯技术进行有效渲染。由可学习的辐射传递驱动的外观模型结合了漫反射球谐函数和镜面球形高斯函数,这种结合赋予了头像使用点光源和连续光照进行实时再照明的能力。


除了这些技术方面,该方法引入了用于表情、注视、视图和照明的解耦控制。头像可以通过利用潜在的表情代码、注视信息和目标视角方向动态激活。这种控制水平在头像动画方面标志着显著的进步,提供了一个微妙和互动的用户体验。


这些头像不仅仅是理论上的进步;它们提供了切实的结果。该方法允许解耦控制各种方面,如通过头戴式摄像机的实时视频驱动动画所示。这种能力创造了动态的、互动的内容,其中实时视频输入可以无缝驱动头像。


总之,Meta AI的“可再照明的高斯编解码头像”证明了创新在解决复杂挑战方面的力量。通过将基于3D高斯的几何模型与革命性的可学习辐射传递外观模型结合起来,研究团队超越了现有方法的局限性,为头像的真实感设定了新的标杆。

文章来源:https://www.marktechpost.com/2023/12/11/meta-ai-introduces-relightable-gaussian-codec-avatars-an-artificial-intelligence-method-to-build-high-fidelity-relightable-head-avatars-that-can-be-animated-to-generate-novel-expressions/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消