3D可以成为品牌和创意人员的强大工具,提供沉浸式、吸引人的体验,并增强设计过程。
然而,它也可能很昂贵、耗时且难以有效执行——因此,在日常的企业运营中并不总是可行的。
但生成式人工智能(AI)再次应对这一挑战——今天,英伟达正试图在这个新领域占据一席之地。在GTC 2024大会上,该公司宣布其Nvidia Edify多模态生成式AI模型现在能够生成3D内容,并且已经与Shutterstock和Getty Images就Edify驱动的工具建立了合作关系。
Shutterstock正在提供基于Edify构建的应用程序编程接口(API)的早期访问权限,该接口可以通过文本提示和图像为虚拟场景创建3D对象。
与此同时,Getty正在为其生成式AI服务添加自定义微调功能,以便企业客户可以生成符合品牌指南和风格的视觉内容。
开发人员将很快能够通过Nvidia NIM测试这些模型,Nvidia NIM是GTC上宣布的一个新的推理微服务集合。
“3D资产生成是Edify为开发人员和视觉内容提供商提供的最新功能之一,他们还将能够对AI图像生成施加更多的创意控制。”英伟达产品经理Gerardo Delgado在一篇关于这项新功能的博客文章中写道。
Getty对Edify进行微调以符合特定品牌(包括山姆会员店、Mucinex和可口可乐)
生成式AI面临的最大挑战之一是对AI图像输出的更精细的控制。
为了帮助解决这个问题,Getty在1月的消费电子展(CES)上宣布推出基于Edify的修复和扩展API。修复功能可以在图像中添加、删除或替换对象,而扩展功能则可以扩大画布。这两项功能现在都可以在Getty网站和iStock.com上使用。
从5月开始,该公司还将提供新的服务,允许企业根据特定品牌和风格对Edify进行自定义微调。这将通过一种无代码自助服务方法实现,品牌可以上传专有数据集,审查自动标签,提交微调参数,并在部署前审查结果。
此外,开发人员将很快能够使用Sketch、Depth和Segmentation功能。这些功能分别允许用户提交绘图以指导图像生成;通过“深度图”复制参考图像的构图;以及分割图像的各个部分,以添加、删除或润色角色和对象。
“Getty Images继续通过其商业安全的生成式AI服务扩展功能,该服务为用户提供他们生成内容的赔偿保障。”德尔加多写道。
据该公司称,与Shutterstock一样,Getty的生成式AI工具正被“领先的创意人员和广告商”使用。其中一些包括:
Shutterstock加速原型设计
通过Shutterstock新的3D AI服务,用户可以快速生成用于创意和场景设置的虚拟对象。据英伟达称,用户可以输入文本提示或参考图像,并从一系列流行的3D格式中进行选择。
“这种能力可以大大减少设计场景原型所需的时间,让艺术家有更多的时间专注于主要角色和对象。”德尔加多写道。
这款基于Edify的工具商业上很安全,并在Shutterstock授权的数据上进行训练。这家股票摄影公司已经向数十万艺术家支付了报酬,并“预计还将向数百万艺术家支付报酬,以表彰他们的内容IP在训练生成技术中所发挥的作用。”英伟达表示。
Shutterstock还在开发基于Edify的工具,使用文本或图像提示创建的360 HDRi场景来照亮3D场景。
此外,在本周的GTC上,Shutterstock和惠普展示了他们在3D定制打印方面的合作。借助Shutterstock的3D AI生成器,设计师可以创建数字内容,惠普可以将这些数字内容转换为可3D打印的模型。
“惠普的3D打印机随后将这些模型转化为物理原型,以激发产品设计灵感。”德尔加多写道。
包括达索系统公司和CGI工作室Katana在内的领先公司已经在使用Shutterstock的3D工具。这些公司正在整合基于英伟达Omniverse的生成式360 HDRi API,用于开发基于通用场景描述(OpenUSD)的3D场景。
埃森哲颂(Accenture Song)也利用Omniverse和基于生成式AI的Edify微服务来开发Defender车辆。
德尔加多写道,这“通过对话提示实现了电影式、交互式3D环境的创建。其结果是一个完全沉浸式的3D场景,将逼真的生成环境与Defender车辆的数字孪生体和谐统一。”