Vision Transformer (基准尺寸的模型) 使用 MSN (4个补丁的大小) 进行预训练

Vision Transformer (ViT) 模型使用MSN方法进行预训练。它是由Mahmoud Assran、Mathilde Caron、Ishan Misra、Piotr Bojanowski、Florian Bordes、Pascal Vincent、Armand Joulin、Michael Rabbat、Nicolas Ballas在论文 Masked Siamese Networks for Label-Efficient Learning 中介绍的，首次发布于 this repository 。

免责声明：发布MSN的团队没有为此模型编写模型卡片，因此这个模型卡片是由Hugging Face团队编写的。

模型描述

Vision Transformer (ViT) 是一个Transformer编码器模型（类似于BERT）。图像被表示为一系列固定大小的补丁，呈现给模型。

MSN提供了一个联合嵌入架构，用于将屏蔽补丁的原型与未屏蔽补丁的原型进行匹配。通过这种设置，他们的方法在低样本和极低样本情况下表现出色。

通过预训练模型，它学习了图像的内部表示，可以用于提取对下游任务有用的特征：例如，如果你有一个带有标签的图像数据集，可以在预训练编码器的顶部放置一个线性层，然后训练一个标准分类器。

预期的用途和限制

您可以将原始模型用于图像分类等下游任务。查看 model hub 以查找您感兴趣的不同版本的预训练MSN模型。当您的训练集中有一些标记样本时，该模型尤其有益。

使用方法

这是如何使用此骨干编码器的方法：

from transformers import AutoFeatureExtractor, ViTMSNModel
import torch
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/vit-msn-base-4")
model = ViTMSNModel.from_pretrained("facebook/vit-msn-base-4")
inputs = feature_extractor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

对于图像分类的微调，请使用ViTMSNForImageClassification类：

from transformers import AutoFeatureExtractor, ViTMSNForImageClassification
import torch
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/vit-msn-base-4")
model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base-4")

...

引用

@article{assran2022masked,
  title={Masked Siamese Networks for Label-Efficient Learning}, 
  author={Assran, Mahmoud, and Caron, Mathilde, and Misra, Ishan, and Bojanowski, Piotr, and Bordes, Florian and Vincent, Pascal, and Joulin, Armand, and Rabbat, Michael, and Ballas, Nicolas},
  journal={arXiv preprint arXiv:2204.07141},
  year={2022}
}