Stability AI推出图像生成3D对象的模型「Stable Zero123」

2023年12月15日 由 daydream 发表 403 0

Stable AI推出了其最新创新产品——Stable Zero123。这个在公司内部训练的生成式AI模型,可以从普通图片创建3D图像,并且在质量和效率上都有所增强。


微信截图_20231215095459


据该公司介绍,这款新推出的模型由于使用了先进的训练数据集和技术,是在Zero1-to-3和 Zero123-XL基础上的一个改进。与之前不同的是,Stable Zero123展现了对对象深刻的理解,能够从不同的角度生成新颖视角的高质量图像。


公司的博客文章指出,Stable Zero123基于Stable Diffusion 1.5,它使用与生成一个新颖视角相同的视频随机存取内存(VRAM)。然而,Stability AI明确表示,用这个模型生成3D对象需要更多的时间和内存,推荐使用至少24GB的VRAM以获得最佳性能。


微信截图_20231215095532


从声明中需要注意的一点是,该模型仅用于非商业和研究目的,公司旨在促进科学界内的创新。


公司宣布,研究人员和爱好者现在可以在Hugging Face上访问Stable Zero123,便于实验和探索其能力。


设立3D图像生成新标准


通过Stable Zero123,Stability AI旨在推进计算机生成图像领域,为研究人员提供一个探索3D图像生成可能性的工具。为此,公司增强了Stabile Zero123的训练数据集。它利用Objaverse源的过滤训练数据集,专注于保留高质量的3D对象。


公司对这些对象进行了写实渲染,以超越以往的方法。


在训练和推断期间,生成AI模型受益于高度条件化。通过为模型提供估计的相机角度,它能够做出更加明智和高质量的预测,从而产生更优越的视觉成果。


此外,加上预计算数据集(预计算的潜变量)和改进的数据加载器的结合,再加上前两者的结合,使得与它的前代Zero123-XL相比,训练效率加快了40倍。


为了鼓励在3D对象生成领域的开放研究,Stability AI改进了threestudio项目的开源代码,以支持Zero123和Stable Zero123。一个简化版的Stable 3D过程目前在私下预览中,它使用Score Distillation Sampling (SDS)来优化使用Stable Zero123的神经辐射场(NeRF)。


然而,它并不是用于商业用途。公司强调这是仅限于研究目的的发布。

文章来源:https://mpost.io/stability-ai-launches-stable-zero123-model-that-can-generate-3d-objects-from-a-single-image/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消