Stable AI推出了其最新创新产品——Stable Zero123。这个在公司内部训练的生成式AI模型,可以从普通图片创建3D图像,并且在质量和效率上都有所增强。
据该公司介绍,这款新推出的模型由于使用了先进的训练数据集和技术,是在Zero1-to-3和 Zero123-XL基础上的一个改进。与之前不同的是,Stable Zero123展现了对对象深刻的理解,能够从不同的角度生成新颖视角的高质量图像。
公司的博客文章指出,Stable Zero123基于Stable Diffusion 1.5,它使用与生成一个新颖视角相同的视频随机存取内存(VRAM)。然而,Stability AI明确表示,用这个模型生成3D对象需要更多的时间和内存,推荐使用至少24GB的VRAM以获得最佳性能。
从声明中需要注意的一点是,该模型仅用于非商业和研究目的,公司旨在促进科学界内的创新。
公司宣布,研究人员和爱好者现在可以在Hugging Face上访问Stable Zero123,便于实验和探索其能力。
设立3D图像生成新标准
通过Stable Zero123,Stability AI旨在推进计算机生成图像领域,为研究人员提供一个探索3D图像生成可能性的工具。为此,公司增强了Stabile Zero123的训练数据集。它利用Objaverse源的过滤训练数据集,专注于保留高质量的3D对象。
公司对这些对象进行了写实渲染,以超越以往的方法。
在训练和推断期间,生成AI模型受益于高度条件化。通过为模型提供估计的相机角度,它能够做出更加明智和高质量的预测,从而产生更优越的视觉成果。
此外,加上预计算数据集(预计算的潜变量)和改进的数据加载器的结合,再加上前两者的结合,使得与它的前代Zero123-XL相比,训练效率加快了40倍。
为了鼓励在3D对象生成领域的开放研究,Stability AI改进了threestudio项目的开源代码,以支持Zero123和Stable Zero123。一个简化版的Stable 3D过程目前在私下预览中,它使用Score Distillation Sampling (SDS)来优化使用Stable Zero123的神经辐射场(NeRF)。
然而,它并不是用于商业用途。公司强调这是仅限于研究目的的发布。