Vision Transformer（大型模型）使用MAE预训练

Vision Transformer（ViT）模型使用MAE方法进行预训练。该模型首次在 this repository 论文中由Kaiming He、Xinlei Chen、Saining Xie、Yanghao Li、Piotr Dollár、Ross Girshick介绍并发布。

声明：发布MAE的团队没有为该模型编写模型卡片，因此此模型卡片是由Hugging Face团队编写的。

模型描述

Vision Transformer（ViT）是一个变换器编码器模型（类似BERT）。图像以固定大小的补丁序列呈现给模型。

在预训练期间，随机遮蔽图像补丁的高比例（75%）。首先，使用编码器对视觉补丁进行编码。接下来，在被遮蔽的补丁位置添加一个可学习的（共享的）掩蔽标记。解码器将编码的视觉补丁和掩蔽标记作为输入，并重构遮蔽位置的原始像素值。

通过预训练模型，它学习了图像的内部表示，然后可以用于提取对下游任务有用的特征：例如，如果您有一个带有标签的图像数据集，可以在预训练的编码器之上放置一个线性层，从而训练一个标准分类器。

预期用途和限制

您可以使用原始模型进行图像分类。查看 model hub 以寻找您感兴趣的任务的微调版本。

如何使用

这是如何使用该模型的步骤：

from transformers import AutoImageProcessor, ViTMAEForPreTraining
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained('facebook/vit-mae-large')
model = ViTMAEForPreTraining.from_pretrained('facebook/vit-mae-large')

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
loss = outputs.loss
mask = outputs.mask
ids_restore = outputs.ids_restore

BibTeX条目和引用信息

@article{DBLP:journals/corr/abs-2111-06377,
  author    = {Kaiming He and
               Xinlei Chen and
               Saining Xie and
               Yanghao Li and
               Piotr Doll{\'{a}}r and
               Ross B. Girshick},
  title     = {Masked Autoencoders Are Scalable Vision Learners},
  journal   = {CoRR},
  volume    = {abs/2111.06377},
  year      = {2021},
  url       = {https://arxiv.org/abs/2111.06377},
  eprinttype = {arXiv},
  eprint    = {2111.06377},
  timestamp = {Tue, 16 Nov 2021 12:12:31 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-06377.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}