Text2Video-Zero 模型卡片 - ControlNet Canny Avatar 风格

Text2Video-Zero 是一个零样本的文本到视频生成器。它可以执行零样本文本到视频生成，视频指引 Pix2Pix（指令引导视频编辑），文本与姿势条件下的视频生成，文本和 Canny 边缘条件下的视频生成，以及文本、Canny 边缘和梦境展厅条件下的视频生成。有关此工作的更多信息，请查看我们的 paper 和我们的演示： 我们的 code 可与任何 StableDiffusion 基础模型一起使用。

该模型为 Avatar 风格提供了 DreamBooth 权重，用于在 Text2Video-Zero 中使用边缘引导（使用 ControlNet ）。

Text2Video-Zero 权重

我们将原始权重转换为扩散器，并使用 https://github.com/lllyasviel/ControlNet/discussions/12 使其可与边缘引导一起在 Text2Video-Zero 中使用。

模型详细信息

• 开发者：Levon Khachatryan、Andranik Movsisyan、Vahram Tadevosyan、Roberto Henschel、Zhangyang Wang、Shant Navasardyan 和 Humphrey Shi

• 模型类型：Dreambooth 的文本到图像和文本到视频生成模型，带有 Text2Video-Zero 中的边缘控制

• 语言：英语

• 许可证： The CreativeML OpenRAIL M license 。

• 模型描述：这是一个带有边缘引导和 Avatar 风格的 text2video zero 的模型。它还可以与 ControlNet 一起在文本到图像的设置中使用边缘引导。

• DreamBoth 关键词：avatar 风格

• 更多信息资源： GitHub 、 Paper 、 CIVITAI 。

• 引用方式：

  @article{text2video-zero,
    title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
    author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
    journal={arXiv preprint arXiv:2303.13439},
    year={2023}
  }
  

原始权重

Avatar 风格的 Dreambooth 权重来自 CIVITAI 。

模型详细信息

• 开发者：Quiet_Joker（在 CIVITAI 上列出的用户名）
• 模型类型：Dreambooth 的文本到图像生成模型
• 语言：英语
• 许可证： The CreativeML OpenRAIL M license 。
• 模型描述：这是一个使用 DreamBooth 创建的模型，根据文本提示生成带有 avatar 风格的图像。
• DreamBoth 关键词：avatar 风格
• 更多信息资源： CIVITAI 。

偏见内容确认

请注意，Text2Video-Zero 可能会输出强化或加剧社会偏见的内容，以及逼真的面孔、色情和暴力。此演示中的 Text2Video-Zero 仅用于研究目的。

引用

  @article{text2video-zero,
    title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
    author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
    journal={arXiv preprint arXiv:2303.13439},
    year={2023}
  }