就在不久之前,创造3D图像还是一项极具挑战性的任务,其难度之大,令人咋舌。这一过程不仅要求复杂的线框设计、专业软件的运用,还离不开强大的硬件支持。然而,时至今日,一切已今非昔比。
Stability AI近期震撼发布了一项名为Stable Fast 3D的创新生成式AI技术,这项技术仅凭单张图片,便能迅速幻化出栩栩如生的3D图像,而且速度之快,令人惊叹。据Stability AI透露,其最新模型能在转瞬之间,即半秒之内,完成一张3D图像的生成。
这一成就标志着处理效率上的巨大飞跃,远远甩开了以往那些需耗时数分钟方能达到相似效果的模型。回溯至今年3月,Stability AI推出的Stable Video 3D(SV3D)技术,生成一个3D资产尚需漫长的10分钟,而今Stable Fast 3D的速度则是其1200倍之多,令人瞠目结舌。
Stability AI预见到,这项新技术将在设计、建筑、零售、虚拟现实以及游戏开发等众多领域展现出不可估量的实用价值。用户可通过Stability AI的Stable Assistant聊天机器人及其API便捷地体验这一技术,同时,该技术也在Hugging Face社区的许可下开放共享。
那么,Stable Fast 3D究竟是如何实现这前所未有的极速图像生成的呢?
它并非凭空出世,而是基于Stability AI与3D建模先锋Trip AI合作开发的TripoSR模型之上的优化升级。早在今年3月,双方的合作便初露锋芒,旨在打造快速3D资产生成的新纪元。
在最新的研究论文中,Stability AI的科研团队深入剖析了新模型如何从单张图片中迅速重建出高质量的3D网格。该系统巧妙融合了多种创新技术,有效解决了快速3D重建中的诸多难题,既保持了惊人的速度,又提升了输出的图像质量。
在核心机制上,Stable Fast 3D利用增强的转换器网络,从输入图片中生成高分辨率的三平面(triplanes),这些三平面是3D体积的精确表示。该网络设计精妙,能够高效处理大分辨率数据,而不增加计算复杂度,从而捕捉更多细腻细节,减少混叠伪影。
此外,研究团队还在材质和光照估计方面取得了突破性进展。材质估计网络采用了一种新颖的概率方法,精准预测全局金属质感和粗糙度值,显著提升了图像的真实感和一致性。
尤为值得一提的是,Stable Fast 3D模型能够将3D图像所需的多重元素——网格、纹理、材质属性等——巧妙融合,打包成一个紧凑、即插即用的3D资产,为用户带来前所未有的便捷体验。
从2D到4D,Stability AI正不断拓宽生成式AI的边界。虽然Stable Diffusion作为文本到图像的2D生成技术已广为人知,但Stability AI自2023年11月起便深耕3D领域,并于当时推出了Stable 3D。随后,今年3月亮相的Stable Video 3D更是为图像查看增添了基本的相机平移功能,进一步提升了3D图像生成的质量。
而Stability AI的探索并未止步于3D。就在不久之前,该公司还宣布了Stable Video 4D的问世,为短3D视频生成引入了时间维度,再次刷新了业界对生成式AI能力的认知。