Prompt2MedImage - 医学影像的扩散模型

Prompt2MedImage是一个潜在的文本到图像扩散模型，它在ROCO数据集的医学影像上进行了微调。

这里的权重是用于与?Diffusers库一起使用的。

此模型是使用Amazon SageMaker和Hugging Face深度学习容器进行训练的。

模型详细信息

• 开发者：Nihir Chadderwala
• 模型类型：基于扩散的文本到医学图像生成模型
• 语言：英语
• 许可证：wtfpl
• 模型描述：基于文本提示，此潜在的文本到图像扩散模型可用于生成高质量的医学图像。根据建议，它使用了一个固定的预训练文本编码器（ CLIP ViT-L/14 ）。

示例

许可协议

该模型是开放访问的，可供所有人使用，并具有"Do What the F*ck You want to"公共许可证，进一步指定了权利和使用方式。

• 您不能使用该模型有意生成或共享非法或有害的输出或内容。
• 作者对您生成的输出不享有任何权利，您可以自由使用它们，并对其使用负有责任。
• 您可以重新分发权重，并将该模型商业化和/或作为服务使用。

使用PyTorch运行

pip install diffusers transformers

使用默认PNDM调度程序运行管道：

import torch
from diffusers import StableDiffusionPipeline

model_id = "Nihirc/Prompt2MedImage"
device = "cuda"

pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to(device)

prompt = "Showing the subtrochanteric fracture in the porotic bone."
image = pipe(prompt).images[0]  
    
image.save("porotic_bone_fracture.png")

引用

O. Pelka, S. Koitka, J. Rückert, F. Nensa, C.M. Friedrich,
"Radiology Objects in COntext (ROCO): A Multimodal Image Dataset".
MICCAI Workshop on Large-scale Annotation of Biomedical Data and Expert Label Synthesis (LABELS) 2018, September 16, 2018, Granada, Spain. Lecture Notes on Computer Science (LNCS), vol. 11043, pp. 180-189, Springer Cham, 2018.
doi: 10.1007/978-3-030-01364-6_20