Hitokomoru扩散

欢迎来到Hitokomoru扩散 - 一个经过训练的日本艺术家艺术品的潜在扩散模型， ヒトこもる/Hitokomoru 。当前模型已经通过学习率为2.0e-6进行了微调，进行了20000次训练步骤/80个纪元，使用了从Danbooru收集的255张图像进行训练。该模型是使用 NovelAI Aspect Ratio Bucketing Tool 进行训练的，以便可以在非正方形分辨率下进行训练。与其他动画风格的稳定扩散模型一样，它也支持Danbooru标签来生成图像。

例如：1girl，白色头发，金色眼睛，漂亮的眼睛，细节，花草地，堆积云，闪电，细致的天空，花园

目前已经有4个版本的模型可供使用：

• hitokomoru-5000.ckpt，经过5000步训练的检查点。
• hitokomoru-10000.ckpt，经过10000步训练的检查点。
• hitokomoru-15000.ckpt，经过15000步训练的检查点。
• hitokomoru-20000.ckpt，经过20000步训练的检查点。

数据集

您可以找到用于训练此模型的数据集和resume training的last-state文件夹 here

? 扩散器

该模型可以像其他稳定扩散模型一样使用。有关更多信息，请参阅 Stable Diffusion 。

您还可以导出模型到 ONNX 、 MPS 和/或 FLAX/JAX 。

from diffusers import StableDiffusionPipeline
import torch

model_id = "Linaqruf/hitokomoru-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "hatsune_miku"
image = pipe(prompt).images[0]

image.save("./hatsune_miku.png")

示例

以下是使用该模型生成的一些图像示例：

使用Hitokomoru-5000-pruned.ckpt

动漫女孩：

动漫男孩：

使用Hitokomoru-10000-pruned.ckpt

动漫女孩：

动漫男孩：

使用Hitokomoru-15000-pruned.ckpt

动漫女孩：

动漫男孩：

使用Hitokomoru-20000-pruned.ckpt

动漫女孩：

动漫男孩：

示例图像的提示和设置

动漫女孩：

(masterpiece:1.05),illustration,beautiful detailed,colourful,finely detailed,dramatic light,intricate details,1 girl, 1990, 1980, hatsune miku

Negative prompt:
nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked,shadow,long body, Abnormal fingers,

Steps: 32, Sampler: Euler, CFG scale: 10, Seed: 2319346364, Size: 512x768, Model hash: 2700c435, Batch size: 2, Batch pos: 0, Clip skip: 2

动漫男孩：

Authentic and detailed face(man:1.2763)(boymasterpiece:1.1025), (best quality:1.1025), (ultra-detailed:1.1025), (illustration:1.1025), (tousled hair:1.1025), (frill:0.907) , white cutter shirt, (one boy:1.05), (solo:1.05) chest, detailed wet clothes, empty stare, pants, (flowers:1.05), beautifully detailed sky, beautifully detailed water, leaves, detailed and beautiful sea

Negative prompt: 
(big breasts:1.2763)(breast:1.1025)}(woman:1.2155)} little girl,(3d:1.1576)(girl:1.629), nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked

Steps: 40, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1870332858, Size: 512x768, Model hash: 2700c435, Batch size: 2, Batch pos: 0, Clip skip: 2

许可证

此模型是开放获取的，可供所有人使用，使用的是CreativeML OpenRAIL-M许可证进一步指定权利和使用方式。CreativeML OpenRAIL许可证规定：

您不能使用模型故意制作或分享非法或有害的输出或内容

作者对您生成的输出不享有任何权利，您可以自由使用它们，并对其使用负责，但不能违反许可证中的规定

您可以重新分发权重并将模型用于商业和/或作为服务。如果您这样做，请注意您必须包含与许可证中相同的使用限制，并向您的所有用户共享CreativeML OpenRAIL-M的副本（请完整且仔细阅读许可证） Please read the full license here

下一步是什么？

• 预计很快发布Hitokomoru Diffusion V2，将添加MidJourney的风景数据集，希望它可以工作，因为我对结果总是简单的背景感到厌倦

鸣谢

• ヒトこもる/Hitokomoru 用于数据集
• 仅供我自己表达感谢之意

特别感谢

• Kohya 与他们的 Kohya Trainer
• SD Training Labs Discord Server 上的朋友们
• ptsearch.info 作为提示参考