Indic-Transformers印地语BERT

模型说明

这是一个在约3GB单语训练语料库上预训练的BERT语言模型。预训练数据主要来自于 OSCAR 。这个模型可以在各种下游任务上进行微调，如文本分类、词性标注、问答等。该模型的嵌入也可以用于基于特征的训练。

预期用途和限制

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('neuralspace-reverie/indic-transformers-hi-bert')
model = AutoModel.from_pretrained('neuralspace-reverie/indic-transformers-hi-bert')
text = "आपका स्वागत हैं"
input_ids = tokenizer(text, return_tensors='pt')['input_ids']
out = model(input_ids)[0]
print(out.shape)
# out = [1, 5, 768] 

原始语言模型是使用PyTorch进行训练的，因此建议使用pytorch_model.bin权重文件。Tensorflow的h5文件是通过建议的命令手动生成的。