MatCha模型的模型卡 - 在PlotQA-v1数据集上进行了微调

该模型是在plotQA-v1数据集上进行微调的MatCha模型。这个微调检查点可能更适合于剧情问题回答任务。

目录

TL;DR

该论文的摘要指出：

视觉语言数据，如图表和信息图，在人类世界中无处不在。然而，最先进的视觉语言模型在这些数据上表现不佳。我们提出了MATCHA（数学推理和图表解编码预训练），以增强视觉语言模型同时建模图表/绘图和语言数据的能力。具体而言，我们提出了几个预训练任务，涵盖了图解构和数值推理，这是视觉语言建模中的关键能力。我们从最近提出的图像到文本视觉语言模型Pix2Struct开始进行MATCHA预训练。在PlotQA和ChartQA等标准基准上，MATCHA模型的表现超过了最先进的方法近20%。我们还研究了MATCHA预训练在屏幕截图、教科书图表和文档图表等领域的转移能力，并观察到整体改进，证实了MATCHA预训练在更广泛的视觉语言任务上的实用性。

使用模型

从T5x转换为Huggingface

您可以按照以下方式使用 convert_pix2struct_checkpoint_to_pytorch.py 脚本：

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --is_vqa

如果要转换大型模型，请运行：

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --use-large --is_vqa

保存后，您可以使用以下代码片段推送转换后的模型：

from transformers import Pix2StructForConditionalGeneration, Pix2StructProcessor

model = Pix2StructForConditionalGeneration.from_pretrained(PATH_TO_SAVE)
processor = Pix2StructProcessor.from_pretrained(PATH_TO_SAVE)

model.push_to_hub("USERNAME/MODEL_NAME")
processor.push_to_hub("USERNAME/MODEL_NAME")

运行预测

要运行预测，请参考 instructions presented in the matcha-chartqa model card 。

贡献

这个模型最初由Fangyu Liu、Francesco Piccinno等人贡献，并由 Younes Belkada 添加到Hugging Face生态系统中。

引用

如果您想引用这个工作，请考虑引用原始论文：

@misc{liu2022matcha,
      title={MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering}, 
      author={Fangyu Liu and Francesco Piccinno and Syrine Krichene and Chenxi Pang and Kenton Lee and Mandar Joshi and Yasemin Altun and Nigel Collier and Julian Martin Eisenschlos},
      year={2022},
      eprint={2212.09662},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}