阿尔卡因扩散

这是在电视剧阿尔卡因的图像上训练得到的经过精细调优的稳定扩散模型。在提示中使用 "arcane style" 令牌以产生效果。

如果您喜欢我的工作，请考虑支持我

? 扩散器

此模型可以像其他稳定扩散模型一样使用。要了解更多信息，请查看 Stable Diffusion 。

您还可以将模型导出到 ONNX 、 MPS 和/或 FLAX/JAX 。

#!pip install diffusers transformers scipy torch
from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/Arcane-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "arcane style, a magical princess with golden hair"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

Gradio & Colab

我们还支持一个 Gradio 网页界面和带有扩散器的Colab，以运行经过精细调优的稳定扩散模型：

样本图片来自于v3：

模型生成的样本图片：

用于训练的样本图片：

版本3（arcane-diffusion-v3）：该版本使用了新的 train-text-encoder 设置，极大地提高了模型的质量和可编辑性。在8000步的训练中，使用了来自该电视节目的95张图片。

版本2（arcane-diffusion-v2）：这个版本使用了基于减压器的dreambooth训练方法，保持先前优化损失更加有效。随后使用脚本将扩散器转换为ckpt文件，以便与自动回家存储库配合使用。训练进行了5,000步，以直接与v1进行比较，结果表明需要更多的步骤才能获得更显著的结果。版本3将通过11k步骤进行测试。

版本1（arcane-diffusion-5k）：该模型使用了“未冻结模型文本反转”的训练方法，利用了“训练与优化前损失”的方法。在不使用阿尔卡因令牌的情况下，仍然略微偏向于风格。