您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
lvwerra/pegasus-samsum
任务:
文生文
英文pegasus-samsum
该模型是在samsum数据集上针对 google/pegasus-cnn_dailymail 进行微调的版本。它在评估集上取得以下结果：
- 损失：1.4177
模型描述
需要更多信息
预期用途与限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
训练超参数
训练时使用了以下超参数：
- 学习率：5e-05
- 训练批大小：1
- 评估批大小：1
- 随机种子：42
- 优化器：Adam，beta值为(0.9, 0.999)，epsilon为1e-08
- 学习率调度器类型：linear
- 学习率调度器热身步数：500
- 训练轮数：0.4
训练结果
| Training Loss | Epoch | Step | Validation Loss |
|---|---|---|---|
| 1.6092 | 0.03 | 500 | 1.6488 |
| 1.9715 | 0.07 | 1000 | 1.5444 |
| 1.8325 | 0.1 | 1500 | 1.5093 |
| 1.876 | 0.14 | 2000 | 1.4890 |
| 1.3081 | 0.17 | 2500 | 1.4737 |
| 1.7769 | 0.2 | 3000 | 1.4496 |
| 1.6276 | 0.24 | 3500 | 1.4430 |
| 1.6624 | 0.27 | 4000 | 1.4288 |
| 1.9202 | 0.31 | 4500 | 1.4235 |
| 1.4404 | 0.34 | 5000 | 1.4189 |
| 1.8016 | 0.37 | 5500 | 1.4177 |
框架版本
- Transformers 4.12.0.dev0
- Pytorch 1.9.1+cu102
- Datasets 1.12.1
- Tokenizers 0.10.3