爱沙尼亚 Espnet2 ASR 模型

模型描述

这是在 TalTech 语言技术实验室训练的通用爱沙尼亚语音识别模型。

预期用途和限制

该模型适用于通用的语音识别，如广播对话、采访、演讲等。

使用方法

from espnet2.bin.asr_inference import Speech2Text
    
model = Speech2Text.from_pretrained(
  "TalTechNLP/espnet2_estonian", 
  lm_weight=0.6, ctc_weight=0.4, beam_size=60
)

# read a sound file with 16k sample rate
import soundfile
speech, rate = soundfile.read("speech.wav")
assert rate == 16000
text, *_ = model(speech)
print(text[0])

由于该模型主要训练于广播语音和网络文本，因此在以下情况下可能无法正确解码：

• 包含技术和其他领域特定术语的语音
• 儿童的语音
• 非母语的语音
• 在非常嘈杂的环境或扬声器远离说话者的情况下录制的语音
• 非常即兴和重叠的语音

训练数据

声学训练数据：

语言模型训练数据：

• 爱沙尼亚国家语料库2019
• OpenSubtitles
• 语音转录

训练过程

标准 EspNet2 Conformer 配方。

评估结果

WER

BibTeX 记录和引用信息

@inproceedings{watanabe2018espnet,
  author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson {Enrique Yalta Soplin} and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
  title={{ESPnet}: End-to-End Speech Processing Toolkit},
  year={2018},
  booktitle={Proceedings of Interspeech},
  pages={2207--2211},
  doi={10.21437/Interspeech.2018-1456},
  url={http://dx.doi.org/10.21437/Interspeech.2018-1456}
}