英文

Whisper Dutch - RTL

此模型是在Common Voice 11.0数据集上,对 openai/whisper-small 进行微调的版本。它在评估集上取得以下结果:

  • Loss: 0.1790
  • Wer: 37.5081

模型描述

需要更多信息

预期用途与限制

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

训练时使用了以下超参数:

  • learning_rate: 1e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • training_steps: 4000
  • mixed_precision_training: Native AMP

训练结果

Training Loss Epoch Step Validation Loss Wer
0.1238 0.78 1000 0.2017 19.8254
0.0548 1.56 2000 0.1829 35.4625
0.0259 2.34 3000 0.1795 43.1853
0.0131 3.12 4000 0.1790 37.5081

框架版本

  • Transformers 4.28.1
  • Pytorch 2.0.0+cu117
  • Datasets 2.12.0
  • Tokenizers 0.13.3