您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
mrm8488/flan-t5-small-finetuned-openai-summarize_from_feedback
英文Flan-T5 (小型) 在OpenAI summarize_from_feedback数据集上进行微调，用于摘要
该模型是在summarize_from_feedback数据集上使用 google/flan-t5-small 进行微调的版本。在评估集上取得以下结果：
- 损失：2.1488
- Rouge1：27.2966
- Rouge2：9.5886
- Rougel：22.1999
- Rougelsum：23.6317
- 生成长度：18.9310
模型描述
需要更多信息
使用方法和限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
训练超参数
训练时使用了以下超参数：
- 学习率：5e-05
- 训练批大小：32
- 评估批大小：64
- 种子：42
- 优化器：Adam，beta参数为(0.9, 0.999)，epsilon=1e-08
- 学习率调度器类型：linear
- 训练轮数：6
训练结果
| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
|---|---|---|---|---|---|---|---|---|
| 2.2472 | 1.0 | 2902 | 2.1882 | 26.2033 | 8.83 | 21.3673 | 22.7758 | 18.9234 |
| 2.1142 | 2.0 | 5804 | 2.1608 | 27.1972 | 9.4269 | 22.1761 | 23.6252 | 18.8796 |
| 2.0484 | 3.0 | 8706 | 2.1524 | 27.0963 | 9.4578 | 21.9866 | 23.5124 | 18.9033 |
| 2.0055 | 4.0 | 11608 | 2.1519 | 27.2428 | 9.5514 | 22.1542 | 23.6036 | 18.9347 |
| 1.9647 | 5.0 | 14510 | 2.1488 | 27.2966 | 9.5886 | 22.1999 | 23.6317 | 18.9310 |
| 1.9547 | 6.0 | 17412 | 2.1488 | 27.5602 | 9.673 | 22.3768 | 23.8399 | 18.9236 |
框架版本
- Transformers 4.25.1
- Pytorch 1.13.0+cu116
- Datasets 2.8.0
- Tokenizers 0.13.2