模型:

tiennvcs/layoutlmv2-base-uncased-finetuned-docvqa

英文

layoutlmv2-base-uncased-finetuned-docvqa

这个模型是对 microsoft/layoutlmv2-base-uncased 进行了微调的版本,经过了未知数据集的训练。在评估集上取得了以下结果:

  • 损失: 1.1940

模型描述

需要更多信息

预期用途与限制

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

在训练过程中使用了以下超参数:

  • 学习率: 5e-05
  • 训练批大小: 8
  • 评估批大小: 8
  • 种子: 250500
  • 优化器: Adam,beta=(0.9,0.999),epsilon=1e-08
  • 学习率调度器类型: linear
  • 训练轮数: 2

训练结果

Training Loss Epoch Step Validation Loss
1.463 0.27 1000 1.6272
0.9447 0.53 2000 1.3646
0.7725 0.8 3000 1.2560
0.5762 1.06 4000 1.3582
0.4382 1.33 5000 1.2490
0.4515 1.59 6000 1.1860
0.383 1.86 7000 1.1940

框架版本

  • Transformers 4.12.2
  • Pytorch 1.8.0+cu101
  • Datasets 1.14.0
  • Tokenizers 0.10.3