Controlnet - v1.1 - instruct pix2pix 版本

Controlnet v1.1 于 lllyasviel/ControlNet-v1-1 由 Lvmin Zhang 发布。

此检查点是将 the original checkpoint 转换为扩散器格式的结果。它可以与稳定扩散程序（例如 runwayml/stable-diffusion-v1-5 ）配合使用。

更多详细信息，请参阅 ? Diffusers docs 。

ControlNet 是一个神经网络结构，通过添加额外条件来控制扩散模型。

此检查点对应于基于 instruct pix2pix 图像的 ControlNet。

模型详细信息

• 作者：Lvmin Zhang, Maneesh Agrawala

• 模型类型：基于扩散的文本到图像生成模型

• 语言：英语

• 许可证： The CreativeML OpenRAIL M license 是一个 Open RAIL M license ，根据我们在负责任的 AI 许可证领域的工作进行了适应。另请参阅我们许可证所基于的 the article about the BLOOM Open RAIL license 。

• 更多信息资源： GitHub Repository ， Paper 。

• 引用如下：

  @misc{zhang2023adding, title={Adding Conditional Control to Text-to-Image Diffusion Models}, author={Lvmin Zhang and Maneesh Agrawala}, year={2023}, eprint={2302.05543}, archivePrefix={arXiv}, primaryClass={cs.CV}}

介绍

Controlnet 是由 Lvmin Zhang, Maneesh Agrawala 在 Adding Conditional Control to Text-to-Image Diffusion Models 提出的。

摘要如下：

我们提出了一种名为 ControlNet 的神经网络结构，用于控制预训练的大型扩散模型以支持额外的输入条件。ControlNet 可以在端到端的方式下学习任务特定条件，并且即使训练数据集很小（