在保加利亚语上通过掩码语言建模(MLM)目标进行预训练的模型。该模型首次在 this repository 中引入并发布。该模型区分大小写:bulgarian 和 Bulgarian 是有区别的。
该模型的训练方式与 RuBert 类似,其中多语言Bert被适应为俄语。
训练数据来自于 OSCAR 、 Chitanka 和 Wikipedia 的保加利亚文本。
以下是在PyTorch中使用此模型的方法:
>>> from transformers import pipeline >>> >>> model = pipeline( >>> 'fill-mask', >>> model='rmihaylov/bert-base-bg', >>> tokenizer='rmihaylov/bert-base-bg', >>> device=0, >>> revision=None) >>> output = model("София е [MASK] на България.") >>> print(output) [{'score': 0.12665307521820068, 'sequence': 'София е столица на България.', 'token': 2659, 'token_str': 'столица'}, {'score': 0.07470757514238358, 'sequence': 'София е Перлата на България.', 'token': 102146, 'token_str': 'Перлата'}, {'score': 0.06786204129457474, 'sequence': 'София е Столицата на България.', 'token': 45495, 'token_str': 'Столицата'}, {'score': 0.05533991754055023, 'sequence': 'София е Столица на България.', 'token': 100524, 'token_str': 'Столица'}, {'score': 0.05485989898443222, 'sequence': 'София е столицата на България.', 'token': 2294, 'token_str': 'столицата'}]