英文

Whisper小Hi - Sanchit Gandhi

该模型是在Common Voice 11.0数据集上通过 openai/whisper-small 进行微调的版本。它在评估集上实现了以下结果:

  • 损失:0.4519
  • 词错误率:32.0113

模型描述

需要更多信息

使用目的和限制

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数:

  • 学习率:1e-05
  • 训练批大小:16
  • 评估批大小:16
  • 种子:42
  • 优化器:Adam,beta=(0.9,0.999),epsilon=1e-08
  • 学习率调度器类型:线性
  • 学习率调度器预热步数:500
  • 训练步数:5000
  • 混合精度训练:本机AMP

训练结果

Training Loss Epoch Step Validation Loss Wer
0.1011 2.44 1000 0.3075 34.6313
0.0264 4.89 2000 0.3558 33.1288
0.0025 7.33 3000 0.4214 32.5912
0.0006 9.78 4000 0.4519 32.0113
0.0002 12.22 5000 0.4679 32.0960

框架版本

  • Transformers 4.25.0.dev0
  • Pytorch 1.12.1
  • Datasets 2.5.3.dev0
  • Tokenizers 0.12.1