X-CLIP (基本大小模型)

X-CLIP模型（基本大小，补丁分辨率为32）在 Kinetics-400 上进行了完全监督的训练。它由Ni等人在 Expanding Language-Image Pretrained Models for General Video Recognition 论文中引入，并于 this repository 首次发布。

该模型使用每个视频16帧进行训练，分辨率为224x224。

免责声明：发布X-CLIP模型的团队并未为该模型编写模型卡片，因此此模型卡片由Hugging Face团队编写。

模型描述

X-CLIP是对 CLIP 的一种最小扩展，用于视频语言理解。该模型通过对（视频，文本）对进行对比训练。

这使得该模型可以用于零样本、少样本或完全监督的视频分类和视频文本检索等任务。

预期用途和限制

您可以使用原始模型确定文本与给定视频的匹配程度。查看有关您感兴趣任务上的微调版本的 model hub 。

如何使用

有关代码示例，请参阅 documentation 。

训练数据

该模型在 Kinetics-400 上进行了训练。

预处理

训练期间的预处理的具体细节可以在 here 中找到。

验证期间的预处理的具体细节可以在 here 中找到。

在验证期间，首先调整每帧的较短边，然后进行中心裁剪以达到固定大小的分辨率（如224x224）。然后，使用ImageNet的均值和标准差对帧在RGB通道上进行归一化处理。

评估结果

该模型的前1准确率为81.1％，前5准确率为95.5％。