VideoMAE (巨型模型，在Kinetics-400上进行了精调)

VideoMAE模型通过自监督方式预训练了1600个时期，并在Kinetics-400上进行了有监督方式的精调。该模型在Tong等人的论文 VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training 中首次提出，并于 this repository 中首次发布。

免责声明：发布VideoMAE模型的团队没有为此模型撰写模型卡片，所以本模型卡片由Hugging Face团队编写。

模型描述

VideoMAE是对 Masked Autoencoders (MAE) 在视频中的扩展。模型的架构与标准Vision Transformer (ViT)非常相似，在顶部添加了用于预测被屏蔽补丁的像素值的解码器。

将视频作为固定大小补丁（分辨率为16x16）的序列呈现给模型，这些补丁经过线性嵌入。还在序列的开头添加了一个[CLS]标记，用于分类任务。在将序列输入到Transformer编码器的层之前，还添加了固定的正弦/余弦位置嵌入。

通过预训练模型，它学习了视频的内部表示，可以用于提取用于下游任务的特征：例如，如果你有一个带标签的视频数据集，可以在预训练的编码器之上放置一个线性层来训练一个标准分类器。通常将线性层放置在[CLS]标记的上方，因为该标记的最后隐藏状态可以被视为整个视频的表示。

使用目的和限制

你可以使用原始模型将视频分类为Kinetics-400中的400个可能的标签之一。

如何使用

以下是使用此模型对视频进行分类的方法：

from transformers import VideoMAEImageProcessor, VideoMAEForVideoClassification
import numpy as np
import torch

video = list(np.random.randn(16, 3, 224, 224))

processor = VideoMAEImageProcessor.from_pretrained("MCG-NJU/videomae-huge-finetuned-kinetics")
model = VideoMAEForVideoClassification.from_pretrained("MCG-NJU/videomae-huge-finetuned-kinetics")

inputs = processor(video, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)
  logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

有关更多代码示例，请参阅 documentation 。

训练数据

(待办事项，欢迎提交PR)

训练过程

预处理

(待办事项，欢迎提交PR)

预训练

(待办事项，欢迎提交PR)

评估结果

该模型在Kinetics-400的测试集上获得了86.6的top-1准确率和97.1的top-5准确率。

BibTeX条目和引用信息

misc{https://doi.org/10.48550/arxiv.2203.12602,
  doi = {10.48550/ARXIV.2203.12602},
  url = {https://arxiv.org/abs/2203.12602},
  author = {Tong, Zhan and Song, Yibing and Wang, Jue and Wang, Limin},
  keywords = {Computer Vision and Pattern Recognition (cs.CV), FOS: Computer and information sciences, FOS: Computer and information sciences},
  title = {VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training},
  publisher = {arXiv},
  year = {2022},
  copyright = {Creative Commons Attribution 4.0 International}
}