VideoMAE（大型模型，在Kinetics-400上微调）

VideoMAE模型以自监督方式预训练了1600个周期，并在Kinetics-400上进行了监督微调。它在Tong等人的论文 VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training 中首次提出，并在 this repository 中首次发布。

声明：发布VideoMAE的团队并没有为这个模型编写模型卡片，所以这个模型卡片是由Hugging Face团队编写的。

模型描述

VideoMAE是对 Masked Autoencoders (MAE) 在视频领域的扩展。该模型的架构与标准的视觉Transformer（ViT）非常相似，但在顶部添加了一个解码器，用于预测遮挡补丁的像素值。

视频被呈现给模型作为固定大小的补丁序列（分辨率为16x16），这些补丁被线性嵌入。在序列之前还添加了一个[CLS]标记，以供分类任务使用。在将序列馈送到Transformer编码器的层之前，还添加了固定的正弦/余弦位置嵌入。

通过预训练模型，它学习了视频的内部表示，然后可以用来提取对下游任务有用的特征：例如，如果您有一个已标记的视频数据集，可以通过在预训练的编码器之上放置一个线性层来训练一个标准分类器。通常将线性层放置在[CLS]标记之上，因为该标记的最后隐藏状态可以看作是整个视频的表示。

拟合使用场景和限制

可以使用原始模型对视频进行分类，将其分为400个可能的Kinetics-400标签之一。

使用方法

以下是使用该模型对视频进行分类的示例：

from transformers import VideoMAEImageProcessor, VideoMAEForVideoClassification
import numpy as np
import torch

video = list(np.random.randn(16, 3, 224, 224))

processor = VideoMAEImageProcessor.from_pretrained("MCG-NJU/videomae-large-finetuned-kinetics")
model = VideoMAEForVideoClassification.from_pretrained("MCG-NJU/videomae-large-finetuned-kinetics")

inputs = processor(video, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)
  logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

有关更多代码示例，请参阅 documentation 。

训练数据

（待办事项，欢迎提交PR）

训练过程

预处理

（待办事项，欢迎提交PR）

预训练

（待办事项，欢迎提交PR）

评估结果

该模型在Kinetics-400的测试集上获得84.7的Top-1准确率和96.5的Top-5准确率。

BibTeX条目和引文信息

misc{https://doi.org/10.48550/arxiv.2203.12602,
  doi = {10.48550/ARXIV.2203.12602},
  url = {https://arxiv.org/abs/2203.12602},
  author = {Tong, Zhan and Song, Yibing and Wang, Jue and Wang, Limin},
  keywords = {Computer Vision and Pattern Recognition (cs.CV), FOS: Computer and information sciences, FOS: Computer and information sciences},
  title = {VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training},
  publisher = {arXiv},
  year = {2022},
  copyright = {Creative Commons Attribution 4.0 International}
}