您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
bardsai/whisper-large-v2-pl
英文Whisper Large v2 PL
这个模型是在Common Voice 11.0数据集上对 openai/whisper-large-v2 进行微调的版本。它在评估集上取得了以下结果：
- 损失：0.4222
- 词错误率（WER）：6.9125
模型描述
需要更多信息
预期用途和限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
训练超参数
训练过程中使用了以下超参数：
- 学习率：1e-05
- 训练批次大小：8
- 评估批次大小：4
- 种子：42
- 梯度累积步数：8
- 总训练批次大小：64
- 优化器：Adam，参数为betas=(0.9, 0.999)，epsilon=1e-08
- 学习率调度器类型：线性
- 学习率调度器预热步数：500
- 训练步数：5000
- 混合精度训练：Native AMP
训练结果
| Training Loss | Epoch | Step | Validation Loss | Wer |
|---|---|---|---|---|
| 0.1144 | 1.93 | 500 | 0.2016 | 7.4749 |
| 0.0441 | 3.86 | 1000 | 0.2193 | 7.3154 |
| 0.0099 | 5.79 | 1500 | 0.2983 | 7.0804 |
| 0.0048 | 7.72 | 2000 | 0.3514 | 7.0988 |
| 0.0017 | 9.65 | 2500 | 0.3614 | 7.0485 |
| 0.0014 | 11.58 | 3000 | 0.3814 | 7.1240 |
| 0.001 | 13.51 | 3500 | 0.3773 | 6.9931 |
| 0.0005 | 15.44 | 4000 | 0.4085 | 6.9662 |
| 0.0004 | 17.37 | 4500 | 0.4195 | 6.9192 |
| 0.0004 | 19.3 | 5000 | 0.4222 | 6.9125 |
框架版本
- Transformers 4.26.0.dev0
- Pytorch 1.13.0+cu117
- Datasets 2.7.1.dev0
- Tokenizers 0.13.2