文档理解模型（在DocLayNet基础上对LiLT基础模型进行了基于行级的微调）

此模型是使用 DocLayNet base 数据集对 nielsr/lilt-xlm-roberta-base 进行微调的版本。在评估集上实现以下结果：

• 损失：1.0003
• 精确度：0.8584
• 召回率：0.8584
• F1分数：0.8584
• 标记准确率：0.8584
• 行准确率：0.9197

行级别准确率

• 行准确率：91.97%
• 标签的准确率
  • 标题：79.42%
  • 脚注：68.21%
  • 公式：98.02%
  • 列表项：82.72%
  • 页脚：99.17%
  • 页眉：84.18%
  • 图片：83.2%
  • 节标题：76.92%
  • 表格：97.65%
  • 文本：91.17%
  • 标题：77.46%

参考资料

博客文章

• 布局 XLM 基础
  • （03/05/2023） Document AI | Inference APP and fine-tuning notebook for Document Understanding at line level with LayoutXLM base
• LiLT 基础
  • （02/16/2023） Document AI | Inference APP and fine-tuning notebook for Document Understanding at paragraph level
  • （02/14/2023） Document AI | Inference APP for Document Understanding at line level
  • （02/10/2023） Document AI | Document Understanding model at line level with LiLT, Tesseract and DocLayNet dataset
  • （01/31/2023） Document AI | DocLayNet image viewer APP
  • （01/27/2023） Document AI | Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

笔记本（段落级别）

• LiLT 基础
  • Document AI | Inference APP at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at paragraph level (chunk of 512 tokens with overlap)

笔记本（行级别）

• 布局 XLM 基础
  • Document AI | Inference at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet base dataset)
  • Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
• LiLT 基础
  • Document AI | Inference at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
  • DocLayNet image viewer APP
  • 处理DocLayNet数据集以供Hugging Face Hub的布局模型使用（微调、推理）

应用程序

您可以在Hugging Face Spaces的此应用程序中测试此模型。

DocLayNet数据集

DocLayNet dataset （IBM）提供由边界框定义的11个不同类别标签的80863个唯一页面的页面布局分割基准。

目前，可以通过直接链接或作为Hugging Face数据集下载该数据集：

• 直接链接： doclaynet_core.zip （28 GiB）， doclaynet_extra.zip （7.5 GiB）
• Hugging Face 数据集库： dataset DocLayNet

论文： DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis （06/02/2022）

模型描述

该模型在每行384个标记的块上进行微调，重叠为128个标记。因此，模型使用数据集的所有布局和文本数据进行训练。

推理时，通过计算最佳概率为每行边界框分配标签。

推理

请查看笔记本： Document AI | Inference at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)

训练和评估数据

请查看笔记本： Document AI | Fine-tune LiLT on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)

训练过程

训练超参数

在训练期间使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：8
• 评估批次大小：16
• 种子：42
• 优化器：Adam，beta=(0.9, 0.999)，epsilon=1e-08
• lr_scheduler_type：线性
• 训练轮数：5
• 混合精度训练：本地 AMP

训练结果

框架版本

• Transformers 4.26.0
• PyTorch 1.13.1+cu116
• Datasets 2.9.0
• Tokenizers 0.13.2

其他模型

• 行级别
  • Document Understanding model (finetuned LiLT base at line level on DocLayNet base) （准确率 | 标记：85.84% - 行：91.97%）
  • Document Understanding model (finetuned LayoutXLM base at line level on DocLayNet base) （准确率 | 标记：93.73% - 行：...）
• 段落级别
  • Document Understanding model (finetuned LiLT base at paragraph level on DocLayNet base) （准确率 | 标记：86.34% - 段落：68.15%）
  • Document Understanding model (finetuned LayoutXLM base at paragraph level on DocLayNet base) （准确率 | 标记：96.93% - 段落：86.55%）