英文

flan-t5-base-finetuned-gsm8k

该模型是在gsm8k数据集上对 google/flan-t5-base 进行的微调版本。它在评估集上达到以下结果:

  • 损失:0.3652
  • Rouge2精确率:0.3914
  • Rouge2召回率:0.0816
  • Rouge2 F值:0.1308

模型描述

需要更多信息

预期用途和限制

需要更多信息

训练和评估数据

需要更多信息

训练程序

训练超参数

在训练过程中使用了以下超参数:

  • 学习率:5e-05
  • 训练批大小:4
  • 评估批大小:8
  • 种子:42
  • 优化器:Adam,beta=(0.9,0.999),epsilon=1e-08
  • 学习率调度器类型:线性
  • 训练周期数:5

训练结果

Training Loss Epoch Step Validation Loss Rouge2 Precision Rouge2 Recall Rouge2 Fmeasure
0.425 1.0 1869 0.3942 0.3707 0.0774 0.1238
0.3849 2.0 3738 0.3769 0.3809 0.0795 0.1272
0.3663 3.0 5607 0.3698 0.3808 0.0805 0.1285
0.3553 4.0 7476 0.3659 0.3863 0.0805 0.129
0.3421 5.0 9345 0.3652 0.3914 0.0816 0.1308

框架版本

  • Transformers 4.24.0
  • Pytorch 1.12.1+cu113
  • Datasets 2.6.1
  • Tokenizers 0.13.2