您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
Qiliang/distilbart-xsum-12-3-whole_summary_chatGPT_and_tweetsum
任务:
文生文
许可:
apache-2.0
英文distilbart-xsum-12-3-whole_summary_chatGPT_and_tweetsum
这个模型是在一个未知数据集上对 sshleifer/distilbart-xsum-12-3 进行微调的版本。它在评估集上取得了以下结果：
- 损失：2.7952
- Rouge1：45.7353
- Rouge2：29.1566
- Rougel：45.8429
- Rougelsum：45.7353
- Gen Len：16.6
模型描述
需要更多信息
预期用途和限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
训练超参数
在训练过程中使用了以下超参数：
- 学习率：2e-05
- 训练批大小：1
- 评估批大小：1
- 种子：42
- 优化器：Adam，beta=(0.9, 0.999)，epsilon=1e-08
- 学习率调度器类型：线性
- 训练轮数：3
- 混合精度训练：Native AMP
训练结果
| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
|---|---|---|---|---|---|---|---|---|
| No log | 1.0 | 397 | 2.8069 | 42.233 | 23.7538 | 39.2701 | 39.2701 | 17.0 |
| 2.8673 | 2.0 | 794 | 2.7736 | 48.2389 | 29.6927 | 43.5004 | 43.5004 | 17.4 |
| 1.8043 | 3.0 | 1191 | 2.7952 | 45.7353 | 29.1566 | 45.8429 | 45.7353 | 16.6 |
框架版本
- Transformers 4.20.1
- Pytorch 1.12.1
- Datasets 2.6.1
- Tokenizers 0.12.1