MobileViTv2 (mobilevitv2-1.0-imagenet1k-256)

MobileViTv2是MobileViT的第二个版本。它是由Sachin Mehta和Mohammad Rastegari于 Separable Self-attention for Mobile Vision Transformers 提出的，并首次在 this 仓库中发布。使用的许可证是 Apple sample code license 。

声明：发布MobileViT的团队没有为这个模型撰写模型卡片，所以这个模型卡片是由Hugging Face团队撰写的。

模型描述

MobileViTv2通过将MobileViT中的多头自注意力替换为可分离自注意力来构建。

预期用途和限制

您可以使用原始模型进行图像分类。可以在 model hub 中查找适合您感兴趣的任务的微调版本。

如何使用

以下是如何使用此模型将COCO 2017数据集中的图像分类为1,000个ImageNet类之一的方法：

from transformers import MobileViTv2FeatureExtractor, MobileViTv2ForImageClassification
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = MobileViTv2FeatureExtractor.from_pretrained("shehan97/mobilevitv2-1.0-imagenet1k-256")
model = MobileViTv2ForImageClassification.from_pretrained("shehan97/mobilevitv2-1.0-imagenet1k-256")

inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits

# model predicts one of the 1000 ImageNet classes
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

目前，特征提取器和模型都支持PyTorch。

训练数据

MobileViT模型经过预训练，使用了 ImageNet-1k ，这是一个包含100万张图像和1,000个类别的数据集。

BibTeX条目和引用信息

@inproceedings{vision-transformer,
title = {Separable Self-attention for Mobile Vision Transformers},
author = {Sachin Mehta and Mohammad Rastegari},
year = {2022},
URL = {https://arxiv.org/abs/2206.02680}
}