Text2Video-Zero 是一个零-shot 文本到视频生成器。它可以进行零-shot 文本到视频生成,视频指导 Pix2Pix(指导图片编辑),文本和姿势条件视频生成,文本和 canny 边缘条件视频生成,以及文本、canny 边缘和 dreambooth 条件视频生成。关于这项工作的更多信息,请查看我们的 paper 和演示: 。我们的 code 可与任何 StableDiffusion 基础模型一起使用。
这个模型提供了 Arcane 风格的 DreamBooth 权重,可用于与边缘引导(使用 ControlNet )在 text2video zero 中使用。
我们将原始权重转换为扩散器,并使用 https://github.com/lllyasviel/ControlNet/discussions/12 使其可以与带有边缘引导的模型( ControlNet )一起使用。
开发者:Levon Khachatryan,Andranik Movsisyan,Vahram Tadevosyan,Roberto Henschel,Zhangyang Wang,Shant Navasardyan 和 Humphrey Shi
模型类型:Dreambooth 文本到图片和文本到视频生成模型,用于 text2video zero 的边缘控制
语言:英语
模型描述:这是一个带有边缘引导和神秘风格的 text2video zero 模型。它还可以与 ControlNet 一起用于文本到图片设置中的边缘引导。
DreamBoth 关键词:神秘风格
引用方式:
@article{text2video-zero, title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators}, author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey}, journal={arXiv preprint arXiv:2303.13439}, year={2023} }
Arcane 风格的 Dreambooth 权重来自 CIVITAI 。
请注意,Text2Video-Zero 可能会输出强化或加剧社会偏见的内容,以及逼真的面孔、色情和暴力内容。此演示中的 Text2Video-Zero 仅用于研究目的。
@article{text2video-zero, title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators}, author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey}, journal={arXiv preprint arXiv:2303.13439}, year={2023} }