VideoMAE（小型模型，在SSV2上进行微调）

VideoMAE模型是以自监督方式进行2400个epochs的预训练，并在Something-Something V2上进行监督微调的。它是由Tong等人在 VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training 中提出，并在 this repository 中首次发布的。

免责声明：发布VideoMAE的团队没有为这个模型编写模型卡片，所以这个模型卡片是由Hugging Face团队编写的。

模型描述

VideoMAE是对 Masked Autoencoders (MAE) 在视频中的扩展。该模型的架构与标准的视觉Transformer（ViT）非常相似，在顶部还有一个用于预测掩码补丁的像素值的解码器。

视频以一系列固定大小的补丁（分辨率为16x16）的序列呈现给模型，这些补丁被线性嵌入。还将[CLS]标记添加到序列的开头，以在分类任务中使用它。在将序列输入到Transformer编码器的层之前，还要添加固定的正弦/余弦位置嵌入。

通过预训练模型，它学习了一个内部对视频的表示，然后可以用于提取对下游任务有用的特征：例如，如果你有一个标记视频的数据集，可以在预训练编码器上方放置一个线性层来训练标准分类器。通常将一个线性层放在[CLS]标记上，因为该标记的最后隐藏状态可以看作是整个视频的表示。

预期用途和限制

您可以使用原始模型对174个可能的Something-Something V2标签之一进行视频分类。

如何使用

使用此模型对视频进行分类的方法如下：

from transformers import VideoMAEFeatureExtractor, VideoMAEForVideoClassification
import numpy as np
import torch

video = list(np.random.randn(16, 3, 224, 224))

feature_extractor = VideoMAEFeatureExtractor.from_pretrained("MCG-NJU/videomae-small-finetuned-ssv2")
model = VideoMAEForVideoClassification.from_pretrained("MCG-NJU/videomae-small-finetuned-ssv2")

inputs = feature_extractor(video, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)
  logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

更多代码示例，请参阅 documentation 。

训练数据

（待办，欢迎提交PR）

训练过程

预处理

（待办，欢迎提交PR）

预训练

（待办，欢迎提交PR）

评估结果

这个模型在Something-Something V2的测试集上获得了66.8的Top-1准确率和90.3的Top-5准确率。

BibTeX条目和引用信息

misc{https://doi.org/10.48550/arxiv.2203.12602,
  doi = {10.48550/ARXIV.2203.12602},
  url = {https://arxiv.org/abs/2203.12602},
  author = {Tong, Zhan and Song, Yibing and Wang, Jue and Wang, Limin},
  keywords = {Computer Vision and Pattern Recognition (cs.CV), FOS: Computer and information sciences, FOS: Computer and information sciences},
  title = {VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training},
  publisher = {arXiv},
  year = {2022},
  copyright = {Creative Commons Attribution 4.0 International}
}