此模型是对OPENSLR_SLR53 - 孟加拉数据集上的 facebook/wav2vec2-xls-r-300m 进行微调的版本。它在评估集上取得了以下结果。

没有语言模型：

• Wer：0.3110
• Cer：0.072

使用在 indic-text 数据集上训练的5克语言模型：

• Wer：0.17776
• Cer：0.04394

注意：总共有218703个样本中的10%用于评估。评估集有21871个示例。在进行了30000个步骤后停止了训练。输出预测在文件部分可用。

训练超参数

训练期间使用了以下超参数：

• learning_rate: 7.5e-05
• train_batch_size: 16
• eval_batch_size: 16
• gradient_accumulation_steps: 4
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• mixed_precision_training: Native AMP

框架版本

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

注意：训练和评估脚本是根据 https://huggingface.co/chmanoj/xls-r-300m-te 和 https://github.com/huggingface/transformers/tree/master/examples/research_projects/robust-speech-event 进行修改的。常见语音或librispeech多语言数据集中没有孟加拉语音数据，因此使用了OpenSLR53。

注意2：使用了最短的音频持续时间0.1秒来筛选训练数据，这排除了可能的10-20个样本。