Swin Transformer v2 (小型模型)

Swin Transformer v2 模型是基于 ImageNet-1k 数据集进行训练的，分辨率为 256x256。该模型由刘等人在论文中介绍，并于 this repository 发布。

声明：发布 Swin Transformer v2 的团队没有为该模型编写模型卡片，因此该模型卡片由 Hugging Face 团队编写。

模型描述

Swin Transformer 是 Vision Transformer 的一种类型。它通过合并图像块（以灰色显示）在深层中构建分层特征图，并且由于仅在每个局部窗口内计算自注意力（以红色显示），对于输入图像大小具有线性计算复杂度。因此，它可以作为图像分类和密集识别任务的通用骨干模型。相反，先前的视觉 Transformer 产生单一低分辨率的特征图，并且由于全局自注意力的计算导致对输入图像大小具有二次计算复杂度。

Swin Transformer v2 提供了三个主要改进：1）结合余弦注意力的残差后归一化方法，以提高训练稳定性；2）采用对数间隔连续位置偏置方法，有效地将使用低分辨率图像预训练的模型转移到具有高分辨率输入的下游任务；3）自监督预训练方法 SimMIM，以减少对大量标记图像的需求。

Source

预期用途和限制

您可以使用原始模型进行图像分类。查看 model hub 以查找您感兴趣的任务的微调版本。

如何使用

以下是如何使用此模型将 COCO 2017 数据集中的图像分类为 1,000 个 ImageNet 类别之一的方法：

from transformers import AutoImageProcessor, AutoModelForImageClassification
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-small-patch4-window16-256")
model = AutoModelForImageClassification.from_pretrained("microsoft/swinv2-small-patch4-window16-256")

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
# model predicts one of the 1000 ImageNet classes
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

更多代码示例，请参考 documentation 。

BibTeX 条目和引文信息

@article{DBLP:journals/corr/abs-2111-09883,
  author    = {Ze Liu and
               Han Hu and
               Yutong Lin and
               Zhuliang Yao and
               Zhenda Xie and
               Yixuan Wei and
               Jia Ning and
               Yue Cao and
               Zheng Zhang and
               Li Dong and
               Furu Wei and
               Baining Guo},
  title     = {Swin Transformer {V2:} Scaling Up Capacity and Resolution},
  journal   = {CoRR},
  volume    = {abs/2111.09883},
  year      = {2021},
  url       = {https://arxiv.org/abs/2111.09883},
  eprinttype = {arXiv},
  eprint    = {2111.09883},
  timestamp = {Thu, 02 Dec 2021 15:54:22 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-09883.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}