这是一个使用印度尼西亚维基百科进行掩码语言建模(MLM)目标预训练的 RoBERTa-base 模型。该模型不区分大小写,不区分 indonesia 和 Indonesia。
这是众多使用印度尼西亚数据集预训练的语言模型之一。有关在下游任务(文本分类、文本生成等)上使用的详细信息,请参考 Transformer based Indonesian Language Models 。
您可以直接使用此模型进行掩码语言建模的流水线处理:
>>> from transformers import pipeline >>> unmasker = pipeline('fill-mask', model='cahya/roberta-base-indonesian-522M') >>> unmasker("Ibu ku sedang bekerja <mask> supermarket")
以下是如何在 PyTorch 中使用此模型获取给定文本的特征:
from transformers import RobertaTokenizer, RobertaModel model_name='cahya/roberta-base-indonesian-522M' tokenizer = RobertaTokenizer.from_pretrained(model_name) model = RobertaModel.from_pretrained(model_name) text = "Silakan diganti dengan text apa saja." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input)
以及在 TensorFlow 中的使用方法:
from transformers import RobertaTokenizer, TFRobertaModel model_name='cahya/roberta-base-indonesian-522M' tokenizer = RobertaTokenizer.from_pretrained(model_name) model = TFRobertaModel.from_pretrained(model_name) text = "Silakan diganti dengan text apa saja." encoded_input = tokenizer(text, return_tensors='tf') output = model(encoded_input)
该模型使用约522MB的印度尼西亚维基百科进行预训练。文本经过小写处理并使用WordPiece进行标记化,使用32,000个词汇量。模型的输入形式如下:
<s> Sentence A </s> Sentence B </s>