文本到图像的微调 - sayakpaul/da-vinci-sd-pokemon

该流程是使用 lambdalabs/pokemon-blip-captions 数据集从 CompVis/stable-diffusion-v1-4 进行微调的。下面是使用以下提示生成的微调流程的一些示例图像：['可爱的龙生物', '可爱的宝可梦生物', '蓝色宝可梦']：

流程用法

您可以这样使用该流程：

from diffusers import DiffusionPipeline
import torch

pipeline = DiffusionPipeline.from_pretrained("sayakpaul/da-vinci-sd-pokemon", torch_dtype=torch.float16)
prompt = "cute dragon creature"
image = pipeline(prompt).images[0]
image.save("my_image.png")

训练信息

训练期间使用了以下关键超参数：

• Epochs: 1
• Learning rate: 1e-05
• Batch size: 1
• Gradient accumulation steps: 4
• Image resolution: 512
• Mixed-precision: fp16

关于所有命令行参数和环境的更多信息，请参阅 这里。