模型:
valhalla/sd-wikiart-v2
sd-wikiart-v2是一个稳定的扩散模型,经过在 wikiart dataset 上的精调,能够根据不同的风格和流派生成艺术图像。
最初用于精调的模型是 Stable Diffusion V1-4 ,它是一个在 LAION2B-en 上训练的潜在图像扩散模型。
当前模型经过了学习率为1e-05的精调,共进行了1个时期的训练,在wikiart数据集的81K个文本-图像对上进行训练。只有模型的注意力层进行了精调。这样做是为了避免灾难性遗忘,模型可以根据特定提示生成艺术图像,同时保留了大部分以前的知识。
待定
此模型是开放访问的,并可供所有人使用,采用CreativeML OpenRAIL-M许可证进一步指定权利和使用方式。CreativeML OpenRAIL许可证规定:
此模型可用于娱乐目的,作为生成艺术助手。
import torch from diffusers import StableDiffusionPipeline model_id = "valhalla/sd-wikiart-v2" device = "cuda" pipe = StableDiffusionPipeline.from_pretrained( model_id, torch_dtype=torch.float16, ) pipe = pipe.to(device) prompt = "a painting of eiffel tower in the style of surrealism" with torch.autocast("cuda"): image = pipe(prompt, guidance_scale=7.5).images[0] image.save("eiffel_impressionism.png")