模型:

iarfmoose/roberta-base-bulgarian

英文

RoBERTa-base-bulgarian

RoBERTa模型最初是在 this paper 年引入的。这是一个在保加利亚文本上预训练的版本。

拟使用方式

该模型可用于填空任务(遮蔽语言建模)或在保加利亚语上进行微调的其他任务。

限制和偏见

训练数据是来自互联网的未经过滤的文本,可能包含各种偏见。

训练数据

该模型是在以下数据上进行训练的:

训练过程

该模型使用动态遮蔽的掩码语言建模目标进行预训练,如 here 所述。

它进行了20万步的训练。由于GPU内存限制,批量大小限制为8。