在经历了一系列由技术故障和许可变更引发的争议后,AI初创公司Stability AI宣布了其最新的图像生成模型系列——Stable Diffusion 3.5。
Stable Diffusion 3.5系列相较于Stability AI的前代技术,在可定制性、多功能性和性能上均有所提升。该系列共包含三款模型:
Stability AI表示,Stable Diffusion 3.5系列模型应能生成更多样化的输出,即描绘不同肤色和特征的人物图像,而无需“大量”提示。
Stability AI的首席技术官Hanno Basse在接受采访时表示,在训练过程中,每张图像都配有多版本的提示,并优先使用较短的提示。这确保了对于任何给定的文本描述,图像概念的分布都更加广泛和多样。与大多数生成式AI公司一样,Stability AI的训练数据包括经过筛选的公开可用数据集和合成数据。
Stability AI的前代旗舰图像生成器Stable Diffusion 3 Medium曾因奇特的伪影和对提示的遵循度差而受到广泛批评。该公司警告称,Stable Diffusion 3.5系列模型可能也存在类似的提示错误,这归咎于工程和架构上的权衡。但Stability AI也声称,这些模型在生成不同风格的图像(包括3D艺术)方面比前代更稳健。
Stable Diffusion 3.5系列模型的非商业用途(包括研究)免费开放。年收入低于100万美元的企业也可免费将其商业化。然而,年收入超过100万美元的组织必须与Stability AI签订企业许可协议。
今年夏天,Stability AI因严格的微调条款而引发争议,这些条款似乎赋予了该公司对使用其图像生成器训练的模型收取费用的权利。在遭到强烈反对后,该公司调整了条款,允许更自由的商业使用。Stability AI重申,用户拥有使用其模型生成的媒体。
Stable Diffusion 3.5 Large和3.5 Large Turbo可自主托管或通过Stability AI的API以及Hugging Face、Fireworks、Replicate和ComfyUI等第三方平台使用。Stability AI表示,计划在未来几天内发布这些模型的ControlNets,以实现微调。
与大多数AI模型一样,Stability AI的模型是在公共网络数据上训练的,其中一些数据可能受版权保护或具有限制性许可。Stability AI和许多其他AI供应商认为,合理使用原则使他们免受版权侵权指控。但这并未阻止数据所有者提起越来越多的集体诉讼。
Stability AI要求客户自行应对版权索赔,并且与其他一些供应商不同,在发现其负有责任的情况下,没有赔偿条款。然而,Stability AI允许数据所有者请求将其数据从其训练数据集中删除。截至2023年3月,已有8000万张图像被艺术家从Stable Diffusion的训练数据中删除。
被问及针对即将举行的美国大选的信息安全措施时,Stability AI表示,已采取并将继续采取合理措施,防止Stable Diffusion被不法分子滥用。但该公司拒绝提供有关这些措施的具体技术细节。