X-CLIP (基础大小模型)

X-CLIP模型（基础大小，补丁分辨率为16）在训练集 Kinetics-400 上进行全监督训练。它由Ni等人在 Expanding Language-Image Pretrained Models for General Video Recognition 论文中提出，并于 this repository 首次发布。

该模型在每个视频中使用8个帧，分辨率为224x224进行训练。

声明：发布X-CLIP的团队没有为该模型编写模型卡片，所以这个模型卡片是由Hugging Face团队编写的。

模型描述

X-CLIP是 CLIP 的一个最小扩展，用于通用的视频-语言理解。该模型以对比的方式在（视频、文本）对上进行训练。

这使得该模型可以用于零样本，少样本或完全监督的视频分类和视频-文本检索等任务。

预期用途和局限性

您可以使用原始模型来确定文本与给定视频的匹配程度。请参阅 model hub 以查看在您感兴趣的任务上进行精调的版本。

如何使用

有关代码示例，请参阅 documentation 。

训练数据

该模型在 Kinetics-400 上进行了训练。

预处理

训练期间的预处理的确切细节可以在 here 中找到。

验证期间的预处理的确切细节可以在 here 中找到。

在验证过程中，将每个帧的较短边调整大小，然后执行中心裁剪以获得固定大小的分辨率（如224x224）。然后，通过使用ImageNet的均值和标准差对帧在RGB通道上进行归一化。

评估结果

该模型的Top-1准确率为83.8％，Top-5准确率为95.7％。