Whisper Dutch - RTL
此模型是在Common Voice 11.0数据集上,对
openai/whisper-small
进行微调的版本。它在评估集上取得以下结果:
- Loss: 0.1790
- Wer: 37.5081
模型描述
需要更多信息
预期用途与限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
训练超参数
训练时使用了以下超参数:
- learning_rate: 1e-05
- train_batch_size: 16
- eval_batch_size: 16
- seed: 42
- gradient_accumulation_steps: 2
- total_train_batch_size: 32
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 500
- training_steps: 4000
- mixed_precision_training: Native AMP
训练结果
Training Loss
|
Epoch
|
Step
|
Validation Loss
|
Wer
|
0.1238
|
0.78
|
1000
|
0.2017
|
19.8254
|
0.0548
|
1.56
|
2000
|
0.1829
|
35.4625
|
0.0259
|
2.34
|
3000
|
0.1795
|
43.1853
|
0.0131
|
3.12
|
4000
|
0.1790
|
37.5081
|
框架版本
- Transformers 4.28.1
- Pytorch 2.0.0+cu117
- Datasets 2.12.0
- Tokenizers 0.13.3