Czech wav2vec2-xls-r-300m-cs-250

这个模型是基于 facebook/wav2vec2-xls-r-300m 在 common_voice 8.0 数据集以及其他以下列出的数据集上进行微调的版本。

它在评估集上达到以下结果：

• 损失：0.1271
• 词错误率（WER）：0.1475
• 字符错误率（CER）：0.0329

使用语言模型的 eval.py 脚本的结果为：

• 词错误率（WER）：0.07274312090176113
• 字符错误率（CER）：0.021207369275558875

模型描述

使用数据集 Common Voice 在 Czech 上对 facebook/wav2vec2-large-xlsr-53 进行了微调。在使用此模型时，请确保语音输入采样率为16kHz。

可以直接使用该模型（无需语言模型），如下所示：

import torch
import torchaudio
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

test_dataset = load_dataset("mozilla-foundation/common_voice_8_0", "cs", split="test[:2%]")

processor = Wav2Vec2Processor.from_pretrained("comodoro/wav2vec2-xls-r-300m-cs-250")
model = Wav2Vec2ForCTC.from_pretrained("comodoro/wav2vec2-xls-r-300m-cs-250")

resampler = torchaudio.transforms.Resample(48_000, 16_000)

# Preprocessing the datasets.
# We need to read the aduio files as arrays
def speech_file_to_array_fn(batch):
    speech_array, sampling_rate = torchaudio.load(batch["path"])
    batch["speech"] = resampler(speech_array).squeeze().numpy()
    return batch

test_dataset = test_dataset.map(speech_file_to_array_fn)
inputs = processor(test_dataset[:2]["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)

with torch.no_grad():
    logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits

predicted_ids = torch.argmax(logits, dim=-1)

print("Prediction:", processor.batch_decode(predicted_ids))
print("Reference:", test_dataset[:2]["sentence"])

评估

可以使用附带的 eval.py 脚本进行模型评估：

python eval.py --model_id comodoro/wav2vec2-xls-r-300m-cs-250 --dataset mozilla-foundation/common-voice_8_0 --split test --config cs

训练和评估数据

用于训练的数据集包括 Common Voice 8.0 的 train 和 validation 数据集，以及以下数据集：

• Šmídl, Luboš 和 Pražák, Aleš, 2013, OVM – Otázky Václava Moravce, LINDAT/CLARIAH-CZ 数字图书馆，捷克布拉格查理大学数学物理系 (ÚFAL), http://hdl.handle.net/11858/00-097C-0000-000D-EC98-3 .

• Pražák, Aleš 和 Šmídl, Luboš, 2012, Czech Parliament Meetings, LINDAT/CLARIAH-CZ 数字图书馆，捷克布拉格查理大学数学物理系 (ÚFAL), http://hdl.handle.net/11858/00-097C-0000-0005-CF9C-4 .

• Plátek, Ondřej；Dušek, Ondřej 和 Jurčíček, Filip, 2016, Vystadial 2016 – Czech data, LINDAT/CLARIAH-CZ 数字图书馆，捷克布拉格查理大学数学物理系 (ÚFAL), http://hdl.handle.net/11234/1-1740 .

训练超参数

训练过程中使用了以下超参数：

• 学习率：0.0001
• 训练批次大小：32
• 评估批次大小：8
• 种子：42
• 优化器：Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• lr_scheduler_type：线性
• lr_scheduler_warmup_steps：800
• 训练轮数：5
• 混合精度训练：Native AMP

训练结果

框架版本

• Transformers 4.16.2
• Pytorch 1.10.1+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0