X-CLIP（大型模型）

X-CLIP模型（大型，补丁分辨率为14）在 Kinetics-400 上进行了完全监督的训练。它由Ni等人在 Expanding Language-Image Pretrained Models for General Video Recognition 的论文中提出，并于 this repository 首次发布。

该模型使用每个视频的8帧，分辨率为224x224进行训练。

免责声明：发布X-CLIP团队没有为该模型编写模型卡片，因此该模型卡片由Hugging Face团队编写。

模型描述

X-CLIP是 CLIP 的一种推广模型，用于一般的视频语言理解。该模型以对比的方式训练（视频，文本）对。

这使得该模型可以用于零样本、少样本或完全监督的视频分类和视频文本检索等任务。

使用目的和限制

您可以使用原始模型来确定文本与给定视频的匹配程度。请参阅 model hub ，以查找您感兴趣的任务上的微调版本。

使用方法

有关代码示例，请参阅 documentation 。

训练数据

该模型在 Kinetics-400 上进行了训练。

预处理

关于训练期间预处理的详细信息可以在 here 中找到。

关于验证期间预处理的详细信息可以在 here 中找到。

在验证期间，将每个帧的较短边调整大小，然后进行中心裁剪以达到固定分辨率（如224x224）。接下来，使用ImageNet的均值和标准差对RGB通道进行归一化。

评估结果

该模型的Top-1准确率为87.1％，Top-5准确率为97.6％。