模型:

vasista22/whisper-telugu-base

英文

Whisper Telugu Base

这个模型是在来自多个公开可用的ASR语料库上的泰卢固语数据上进行微调的版本。它作为Whisper微调迭代的一部分进行了微调。

注意:用于训练此模型的代码可在 whisper-finetune 存储库中重新使用。

用法

为了在整个数据集上评估此模型,可以使用 whisper-finetune 存储库中提供的评估代码。

同样的存储库还提供了使用whisper-jax进行更快推断的脚本。

为了使用此模型对单个音频文件进行推断,可以使用以下代码片段:

>>> import torch
>>> from transformers import pipeline

>>> # path to the audio file to be transcribed
>>> audio = "/path/to/audio.format"
>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> transcribe = pipeline(task="automatic-speech-recognition", model="vasista22/whisper-telugu-base", chunk_length_s=30, device=device)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

要更快地推断whisper模型,可以使用 whisper-jax 库。在使用以下代码片段之前,请按照 here 中提到的必要安装步骤进行安装:

>>> import jax.numpy as jnp
>>> from whisper_jax import FlaxWhisperForConditionalGeneration, FlaxWhisperPipline

>>> # path to the audio file to be transcribed
>>> audio = "/path/to/audio.format"

>>> transcribe = FlaxWhisperPipline("vasista22/whisper-telugu-base", batch_size=16)
>>> transcribe.model.config.forced_decoder_ids = transcribe.tokenizer.get_decoder_prompt_ids(language="te", task="transcribe")

>>> print('Transcription: ', transcribe(audio)["text"])

训练和评估数据

训练数据:

评估数据:

训练超参数

训练期间使用了以下超参数:

  • learning_rate: 3.3e-05
  • train_batch_size: 80
  • eval_batch_size: 88
  • seed: 22
  • optimizer: adamw_bnb_8bit
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 15000
  • training_steps: 24174(到收敛时终止,最初设置为85952步)
  • mixed_precision_training: True

致谢

这项工作是在 Speech Lab, IIT Madras 完成的。

此工作的计算资源由印度电子和信息技术部(MeitY)的“Bhashini:全国语言翻译任务”项目资助。