ACertainModel

尝试在Google Colab免费的T4上使用完整功能

在Twitter上查看社区作品 #ACertainModel

欢迎来到ACertainModel - 一个为宅文化爱好者设计的潜在扩散模型。该模型旨在仅通过几个提示生成高质量、高度详细的日本动画风格图片。与其他日本动画风格的稳定扩散模型一样，它也支持danbooru标签，包括艺术家信息，以生成图像。

由于我注意到稳定扩散-v-1-4检查点中引入的laion美学阻碍了对日本动画风格插图生成模型的微调，所以使用Dreambooth将一些标签单独微调，使其更接近SD1.2中的表现方式。为了避免过拟合和可能的语言漂移，我向训练集中添加了大量通过单个单词提示从自动生成的图片中生成的图片，使用了社区中流行的Anything-3.0等模型，并结合在一年内部分手动选择的完整danbooru图片进行了进一步的本地训练。我也了解到一种类似的方法，即仅微调注意力层，以在眼睛、手和其他细节上获得更好的表现。

出于版权合规和技术实验的考虑，它是直接从几个艺术家的图片进行训练的。它是在Dreambooth上训练的，使用了社区中几个流行扩散模型生成的图片。检查点的权重是使用稳定扩散模型的权重初始化，随后在V100 32GB上进行了2K GPU小时的微调，并在A100 40GB上进行了600 GPU小时的微调，分辨率为512P的动态宽高比，并配有一定比例的来自社区中几个流行扩散模型的无监督自动生成图像以及一些文本反转和超网络。我们对xformers和8位优化有一些技巧，但出于更好的质量和稳定性考虑，我们没有使用它们。最多同时训练15个分支，在大约每20,000步挑选一次。

例如，杰作、最佳质量、1女孩、棕色头发、绿色眼睛、多彩、秋天、积云、闪电、蓝天、落叶、花园

关于使用托管推理API进行在线预览，以及使用该模型生成图像

参数不允许修改，因为似乎是使用Clip跳过：1进行生成的，出于更好的性能，强烈建议改用Clip跳过：2。

这是一个推理设置的例子，如果适用于您的服务器：步骤：28，采样器：Euler a，CFG scale：11，Clip跳过：2。

? 扩散器

这个模型可以像其他稳定扩散模型一样使用。有关更多信息，请参阅 Stable Diffusion 。

您还可以将模型导出到 ONNX 、 MPS 和/或FLAX/JAX。

from diffusers import StableDiffusionPipeline
import torch

model_id = "JosephusCheung/ACertainModel"
branch_name= "main"

pipe = StableDiffusionPipeline.from_pretrained(model_id, revision=branch_name, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "pikachu"
image = pipe(prompt).images[0]

image.save("./pikachu.png")

示例

下面是使用该模型生成的一些图像示例，与其他类似模型相比，它在构图、手势和移动物体方面的性能更好：

动漫女孩：

1girl, brown hair, green eyes, colorful, autumn, cumulonimbus clouds, lighting, blue sky, falling leaves, garden
Steps: 28, Sampler: Euler a, CFG scale: 11, Seed: 114514, Clip skip: 2

动漫男孩：

1boy, brown hair, green eyes, colorful, autumn, cumulonimbus clouds, lighting, blue sky, falling leaves, garden
Steps: 28, Sampler: Euler a, CFG scale: 11, Seed: 114514, Clip skip: 2

许可

该模型是开放访问的，可供所有人使用，使用CreativeML OpenRAIL-M许可进一步指定权利和使用方式。CreativeML OpenRAIL许可证规定：

这是基于NovelAI的模型吗？与SD1.2和SD1.4之间的关系是什么？

请参阅 ASimilarityCalculatior