TimeSformer (基于基准尺寸的模型，针对Kinetics-600进行微调)

TimeSformer模型在 Kinetics-600 数据集上进行了预训练。该模型由Tong等人在 TimeSformer: Is Space-Time Attention All You Need for Video Understanding? 的论文中提出，并于 this repository 首次发布。

免责声明：发布TimeSformer的团队未为该模型撰写模型卡片，因此此模型卡片是由 fcakyon 撰写的。

预期用途和限制

您可以使用原始模型对视频进行分类，其中包含600个可能的Kinetics-600标签。

如何使用

以下是使用此模型对视频进行分类的方法：

from transformers import AutoImageProcessor, TimesformerForVideoClassification
import numpy as np
import torch

video = list(np.random.randn(8, 3, 224, 224))

processor = AutoImageProcessor.from_pretrained("facebook/timesformer-base-finetuned-k600")
model = TimesformerForVideoClassification.from_pretrained("facebook/timesformer-base-finetuned-k600")

inputs = processor(images=video, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)
  logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

更多代码示例，请参考 documentation 。

BibTeX条目和引用信息

@inproceedings{bertasius2021space,
  title={Is Space-Time Attention All You Need for Video Understanding?},
  author={Bertasius, Gedas and Wang, Heng and Torresani, Lorenzo},
  booktitle={International Conference on Machine Learning},
  pages={813--824},
  year={2021},
  organization={PMLR}
}