此模型是在OPENSLR_SLR53 - 孟加拉语数据集上对 facebook/wav2vec2-xls-r-300m 进行的微调版本。它在评估集上取得了以下结果。

无语言模型：

• WER：0.21726385291857586
• CER：0.04725010353701041

使用从 AI4Bharat IndicCorp 数据集中随机选择的3000万个句子训练的五元语言模型：

• WER：0.15322879016421437
• CER：0.03413696666806267

注意：总计10935个样本中的5％用于评估。评估集包含10935个示例，不是训练集的一部分。训练是在前95％的样本进行的，评估是在最后5％进行的。训练在完成180k步后停止。输出预测可在文件部分找到。

培训超参数

以下是训练中使用的超参数：

• dataset_name="openslr"
• model_name_or_path="facebook/wav2vec2-xls-r-300m"
• dataset_config_name="SLR53"
• output_dir="./wav2vec2-xls-r-300m-bengali"
• overwrite_output_dir
• num_train_epochs="50"
• per_device_train_batch_size="32"
• per_device_eval_batch_size="32"
• gradient_accumulation_steps="1"
• learning_rate="7.5e-5"
• warmup_steps="2000"
• length_column_name="input_length"
• evaluation_strategy="steps"
• text_column_name="sentence"
• chars_to_ignore , ? . ! - ; : " “ % ‘ ” � — ’ … –
• save_steps="2000"
• eval_steps="3000"
• logging_steps="100"
• layerdrop="0.0"
• activation_dropout="0.1"
• save_total_limit="3"
• freeze_feature_encoder
• feat_proj_dropout="0.0"
• mask_time_prob="0.75"
• mask_time_length="10"
• mask_feature_prob="0.25"
• mask_feature_length="64"
• preprocessing_num_workers 32

框架版本

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

注

• 训练和评估代码修改自： https://github.com/huggingface/transformers/tree/master/examples/research_projects/robust-speech-event 。
• 由于常用语音或librispeech多语种数据集中没有孟加拉语音频数据，因此使用了OpenSLR53。
• 使用了最小音频持续时间为0.5秒来过滤训练数据，这排除了可能的10-20个样本。
• OpenSLR53的转录文本不是LM训练的一部分，但用于评估。