ZH-CLIP: 一个中文 CLIP 模型

模型

您可以从 ? thu-ml/zh-clip-vit-roberta-large-patch14 下载 ZH-CLIP 模型。模型结构如下所示：

• 视觉编码器网络结构与 openai/clip-vit-large-patch14 相同，并使用 laion/CLIP-ViT-L-14-laion2B-s32B-b82K 进行初始化。
• 文本编码器网络结构与 hfl/chinese-roberta-wwm-ext-large 相同，并进行初始化。

结果

入门指南

依赖关系

• python >= 3.9
• pip install -r requirements.txt

推理

您可以从 https://github.com/thu-ml/zh-clip 克隆代码

from PIL import Image
import requests
from models.zhclip import ZhCLIPProcessor, ZhCLIPModel  # Code in https://github.com/thu-ml/zh-clip

version = 'thu-ml/zh-clip-vit-roberta-large-patch14'
model = ZhCLIPModel.from_pretrained(version)
processor = ZhCLIPProcessor.from_pretrained(version)

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=["一只猫", "一只狗"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
image_features = outputs.image_features
text_features = outputs.text_features
text_probs = (image_features @ text_features.T).softmax(dim=-1)

其他中文 CLIP 模型

另外，为了比较不同方法的有效性，已经整合了其他中文 CLIP 模型的推理方法。为了方便使用，推理代码也已公开，并且如果有任何侵权行为，请与我们联系。该代码仅实现与 clip-vit-large-patch14 相同级别的模型，但将来可能会适应更多不同版本模型的使用。

在 inference.py 中的用法