Stability AI刚刚发布了Stable Video 3D(SV3D),这是一种生成模型,推动了3D技术领域的发展,提高了质量和视角一致性。SV3D建立在Stable Video Diffusion的基础上,与前代和开源替代方案相比,其质量和多视角一致性更优。
SV3D的发布有两个版本:SV3D_u和SV3D_p。SV3D_u可以从单张图像输入生成轨道视频,无需相机调节。SV3D_p则更进一步,同时支持单张图像和轨道视角,从而可以沿着指定的相机路径创建3D视频。这种灵活性和控制力为内容创作者和开发者都开辟了一个充满可能性的世界。
SV3D的一个关键优势在于其使用了视频扩散模型。与Stable Zero123中使用的图像扩散模型不同,视频扩散在生成输出的泛化能力和视角一致性方面提供了显著的改进。
在内部,SV3D利用其多视角一致性来优化3D神经辐射场(NeRF)和网格表示。这种优化进一步通过掩码得分蒸馏采样损失得到增强,该损失旨在提高在预测视角中不可见区域的3D质量。为了解决内置照明的问题,SV3D采用了一种与3D形状和纹理联合优化的分离照明模型。
SV3D的潜在应用非常广泛。从虚拟和增强现实体验到产品可视化等,这项技术有能力改变多个行业。随着Stability AI继续推动AI驱动的3D生成技术的边界,将令人兴奋的是看到创作者和企业如何利用SV3D的功能。
Stable Video 3D现已通过Stability AI会员资格供商业使用。对于非商业用途,可以从Hugging Face下载模型权重,如果你想要深入研究技术细节,可以在这里找到研究论文。
随着Stable Video 3D的发布,Stability AI再次证明了其在推动AI领域发展和为创作者提供尖端工具方面的承诺。随着公司不断创新,很明显,3D生成技术的未来将掌握在有能力的人手中。