RoBERTa-base-bulgarian

RoBERTa模型最初是在 this paper 年引入的。这是一个在保加利亚文本上预训练的版本。

拟使用方式

该模型可用于填空任务（遮蔽语言建模）或在保加利亚语上进行微调的其他任务。

限制和偏见

训练数据是来自互联网的未经过滤的文本，可能包含各种偏见。

训练数据

该模型是在以下数据上进行训练的：

• bg_dedup from OSCAR
• Newscrawl 1 million sentences 2017 from Leipzig Corpora Collection
• Wikipedia 1 million sentences 2016 from Leipzig Corpora Collection

训练过程

该模型使用动态遮蔽的掩码语言建模目标进行预训练，如 here 所述。

它进行了20万步的训练。由于GPU内存限制，批量大小限制为8。