模型:

dandelin/vilt-b32-mlm-itm

英文

Vision-and-Language Transformer (ViLT),仅预训练

Vision-and-Language Transformer (ViLT)模型已在GCC+SBU+COCO+VG上进行了预训练(20万步)。该模型由Kim等人在 ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision 论文中介绍,并于 this repository 首次发布。

免责声明:发布ViLT的团队没有为这个模型撰写模型卡片,因此这个模型卡片是由Hugging Face团队编写的。

模型描述

(待完成)

预期的用途和限制

您可以使用原始模型进行视觉问答。

使用方法

(待完成)

训练数据

(待完成)

训练过程

预处理

(待完成)

预训练

(待完成)

评估结果

(待完成)

BibTeX条目和引用信息

@misc{kim2021vilt,
      title={ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision}, 
      author={Wonjae Kim and Bokyung Son and Ildoo Kim},
      year={2021},
      eprint={2102.03334},
      archivePrefix={arXiv},
      primaryClass={stat.ML}
}