wav2vec2-xlsr-multilingual-56

模型详情

模型描述

• 开发者：voidful
• 共享者[可选]：Hugging Face
• 模型类型：自动语音识别
• 语言(NLP)：多语言（56种语言，1个模型多语言ASR）
• 许可证：Apache-2.0
• 相关模型：
  • 父模型：wav2vec
• 了解更多信息的资源：
  • GitHub Repo
  • Model Space

用途

直接使用

该模型可用于自动语音识别任务。

下游使用[可选]

需要更多信息。

超出范围的使用

模型不应用于有意创建对人类具有敌意或疏远环境的情况。

偏见、风险和限制

已经进行了大量的研究来探讨语言模型的偏见和公平性问题（参见，例如， Sheng et al. (2021) 和 Bender et al. (2021) ）。模型生成的预测可能包含对受保护类别、身份特征和敏感的社会和职业群体的令人不安和有害的刻板印象。

建议

用户（直接和下游）应意识到模型的风险、偏见和限制。需要更多信息以提供进一步的建议。

培训详情

培训数据

请查看 common_voice dataset card ，在56种语言上使用 Common Voice 对其进行微调。

培训流程

预处理

需要更多信息。

速度、大小、时间

使用此模型时，请确保语音输入采样率为16kHz。

评估

测试数据、因素和指标

测试数据

需要更多信息。

因素

指标

需要更多信息。

结果

需要更多信息。

环境影响

可以使用 Lacoste et al. (2019) 中提供的 Machine Learning Impact calculator 来估计碳排放。

• 硬件型号：需要更多信息
• 使用小时数：需要更多信息
• 云提供商：需要更多信息
• 计算区域：需要更多信息
• 排放的碳量：需要更多信息

技术规格[可选]

模型架构和目标

需要更多信息。

计算基础设施

需要更多信息。

硬件

需要更多信息。

软件

需要更多信息。

引用

BibTeX：

More information needed

More information needed

术语表[可选]

需要更多信息。

更多信息[可选]

需要更多信息。

模型卡作者[可选]

voidful与Ezi Ozoani以及Hugging Face团队合作

模型卡联系方式

需要更多信息。

如何开始使用模型

使用以下代码来开始使用模型。

环境设置：

!pip install torchaudio
!pip install datasets transformers
!pip install asrp
!wget -O lang_ids.pk https://huggingface.co/voidful/wav2vec2-xlsr-multilingual-56/raw/main/lang_ids.pk

用法

import torchaudio
from datasets import load_dataset, load_metric
from transformers import (
    Wav2Vec2ForCTC,
    Wav2Vec2Processor,
    AutoTokenizer, 
    AutoModelWithLMHead 
)
import torch
import re
import sys
import soundfile as sf
model_name = "voidful/wav2vec2-xlsr-multilingual-56"
device = "cuda"
processor_name = "voidful/wav2vec2-xlsr-multilingual-56"
 
import pickle
with open("lang_ids.pk", 'rb') as output:
    lang_ids = pickle.load(output)
    
model = Wav2Vec2ForCTC.from_pretrained(model_name).to(device)
processor = Wav2Vec2Processor.from_pretrained(processor_name)
 
model.eval()
 
def load_file_to_data(file,sampling_rate=16_000):
    batch = {}
    speech, _ = torchaudio.load(file)
    if sampling_rate != '16_000' or sampling_rate != '16000':
        resampler = torchaudio.transforms.Resample(orig_freq=sampling_rate, new_freq=16_000)
        batch["speech"] = resampler.forward(speech.squeeze(0)).numpy()
        batch["sampling_rate"] = resampler.new_freq
    else:
        batch["speech"] = speech.squeeze(0).numpy()
        batch["sampling_rate"] = '16000'
    return batch
 
 
def predict(data):
    features = processor(data["speech"], sampling_rate=data["sampling_rate"], padding=True, return_tensors="pt")
    input_values = features.input_values.to(device)
    attention_mask = features.attention_mask.to(device)
    with torch.no_grad():
        logits = model(input_values, attention_mask=attention_mask).logits
        decoded_results = []
        for logit in logits:
            pred_ids = torch.argmax(logit, dim=-1)
            mask = pred_ids.ge(1).unsqueeze(-1).expand(logit.size())
            vocab_size = logit.size()[-1]
            voice_prob = torch.nn.functional.softmax((torch.masked_select(logit, mask).view(-1,vocab_size)),dim=-1)
            comb_pred_ids = torch.argmax(voice_prob, dim=-1)
            decoded_results.append(processor.decode(comb_pred_ids))
 
    return decoded_results
 
def predict_lang_specific(data,lang_code):
    features = processor(data["speech"], sampling_rate=data["sampling_rate"], padding=True, return_tensors="pt")
    input_values = features.input_values.to(device)
    attention_mask = features.attention_mask.to(device)
    with torch.no_grad():
        logits = model(input_values, attention_mask=attention_mask).logits
        decoded_results = []
        for logit in logits:
            pred_ids = torch.argmax(logit, dim=-1)
            mask = ~pred_ids.eq(processor.tokenizer.pad_token_id).unsqueeze(-1).expand(logit.size())
            vocab_size = logit.size()[-1]
            voice_prob = torch.nn.functional.softmax((torch.masked_select(logit, mask).view(-1,vocab_size)),dim=-1)
            filtered_input = pred_ids[pred_ids!=processor.tokenizer.pad_token_id].view(1,-1).to(device)
            if len(filtered_input[0]) == 0:
                decoded_results.append("")
            else:
                lang_mask = torch.empty(voice_prob.shape[-1]).fill_(0)
                lang_index = torch.tensor(sorted(lang_ids[lang_code]))
                lang_mask.index_fill_(0, lang_index, 1)
                lang_mask = lang_mask.to(device)
                comb_pred_ids = torch.argmax(lang_mask*voice_prob, dim=-1)
                decoded_results.append(processor.decode(comb_pred_ids))
                
    return decoded_results
 
 
predict(load_file_to_data('audio file path',sampling_rate=16_000)) # beware of the audio file sampling rate
 
predict_lang_specific(load_file_to_data('audio file path',sampling_rate=16_000),'en') # beware of the audio file sampling rate
 

{{ get_started_code | default("More information needed", true)}}