Stability AI开源Stable Diffusion 3 Medium文生图模型

2024年06月13日 由 daydream 发表 175 0

“大”并不总是等同于“好”,特别是在使用商品级硬件来运行生成式AI模型时。


这是Stability AI正深入领会的经验之谈,该公司近日发布了Stable Diffusion 3的中型版本。Stable Diffusion是Stability AI的明星模型,具备从文本到图像的生成能力。Stable Diffusion 3的初始版本于2月22日进行了预览,并在4月17日通过API公开提供。


微信截图_20240613101024


新推出的Stable Diffusion中型版本旨在成为一个体积更小但功能强大的模型,使其能在消费级GPU上流畅运行。这一新中型模型将使Stable Diffusion 3成为那些资源有限但仍渴望使用高性能图像生成技术的用户和组织的更理想选择。


Stable Diffusion中型版本现已通过API供用户试用,并在Stable Artisan服务上通过Discord平台提供。此外,该模型的权重也将在Hugging Face上供非商业使用。


随着新版本的发布,Stable Diffusion的最初发布版本现在被称为Stable Diffusion 3(SD3)大型。Stability AI的联合首席执行官Christian Laforte向VentureBeat透露,SD3大型拥有80亿个参数。而相比之下,SD3中型仅有20亿个参数。


“与SD3大型不同,SD3中型体积更小,能在消费级硬件上高效运行”Laforte表示。


Stable Diffusion中型版本将使用5GB的GPU VRAM运行


尽管许多生成式AI工作负载(包括Stable Diffusion)长期以来一直依赖强大的Nvidia GPU,但Stability AI的新模型打破了这一传统。


运行Stable Diffusion Medium的最低要求仅为5GB的GPU VRAM。在此配置下,该模型能够在各种消费级PC以及高端笔记本电脑上运行。不过,值得一提的是,这个最低要求仅仅是底线。Stability AI推荐使用16GB的GPU VRAM,尽管这对于大多数笔记本电脑来说可能有些吃力,但并非一个不合理的配置。


Stable Diffusion Medium虽小,但功能不减


尽管参数数量较少,但Stability AI声称SD3 Medium在功能上与SD3 Large相当,并保持了高质量水平。


据Laforte介绍,SD3 Medium凭借其一系列与SD3 Large相同的功能脱颖而出。这些功能包括照片写实主义、提示遵守、排版、资源效率和微调,这些都是较小模型所具备的特点。


“SD3 Medium在提到的所有功能上都表现出色,并且与您目前喜欢和使用的SD3 Large API的当前版本相当,”Laforte说。


Larforte指出,用户可以从SD3获得高度逼真的图像输出。他解释说,由于采用了16通道VAE(Variational Autoencoder),SD3 Medium每兆像素提供的细节比之前任何模型都多。


谈到提示遵守,他表示SD3在自然语言的提示理解方面达到了令人瞩目的水平。这包括对图像中元素(如位置)的空间理解。


根据Laforte的说法,这个小模型在微调方面也很出色。他指出,该模型异常适应性强,能够高效地捕获微调数据集中的细节。


SD3整体的一大亮点是排版功能,而这一功能也延续到了SD3中型版本。


然而,SD3中型的最大特色在于其资源效率。


“20亿参数的模型相对较小且模块化,能够在不牺牲性能的前提下降低计算要求”Laforte说。“这使得SD3中型成为那些资源管理和效率至关重要的环境的理想选择。”

文章来源:https://venturebeat.com/security/how-third-party-digital-breaches-can-cripple-your-company-and-how-to-prevent-them/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消