Hi-VT5基于MP-DocVQA数据集进行微调

这是在Multipage DocVQA（MP-DocVQA）数据集上微调的分层视觉T5（Hi-VT5）基础模型。

此模型是在 Hierarchical multimodal transformers for Multi-Page DocVQA 中提出的。

• MP-DocVQA数据集的结果在表2中报告。
• 训练超参数可以在附录D的表8中找到。

免责声明：由于某些问题，该模型的效果不如论文中报道的那么好。请参阅 project Github 了解更多详情。

如何使用

Hi-VT5尚未集成到HF中。请从 Github repository 下载代码并按照说明进行操作。

指标

平均标准化Levenshtein相似度（ANLS）

文本型VQA任务（ST-VQA和DocVQA）的标准评估方法。它评估了方法的推理能力，并平滑地惩罚OCR识别错误。详细信息请参阅 Scene Text Visual Question Answering 。

答案页预测准确率（APPA）

在MP-DocVQA任务中，模型可以提供包含回答问题所需信息的页面的索引。对于这个子任务，使用准确率来评估预测结果：即预测的页面是否正确。详细信息请参阅 Hierarchical multimodal transformers for Multi-Page DocVQA 。

模型结果

表2中详细说明了扩展实验。您还可以在 RRC Portal 上查看实时排行榜。

引用信息

@article{tito2022hierarchical,
  title={Hierarchical multimodal transformers for Multi-Page DocVQA},
  author={Tito, Rub{\`e}n and Karatzas, Dimosthenis and Valveny, Ernest},
  journal={arXiv preprint arXiv:2212.05935},
  year={2022}
}