thai-squad

这个模型是基于Thai数据集从 iApp Technology Co., Ltd. 进行微调的版本。

使用目的和限制

该模型旨在用于Thai问答任务

训练和评估数据

由 iApp Technology Co., Ltd. 数据集进行训练和评估。

训练过程

训练超参数

训练时使用了以下超参数：

• 学习率：3e-05
• 训练批大小：2
• 评估批大小：2
• 种子：42
• 梯度累积步数：2
• 总的训练批大小：4
• 优化器：Adam，beta=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 训练轮数：2

性能

在SQuAD 1.0测试数据集上进行评估

"exact": 62.51728907330567
"f1": 73.62388955749958
"total": 723

框架版本

• Transformers 4.11.3
• Pytorch 1.9.0+cu111
• Datasets 1.14.0
• Tokenizers 0.10.3