bert-base-bg-cs-pl-ru-cased

SlavicBERT[1]（斯拉夫语（保加利亚语、捷克语、波兰语、俄语），大小写敏感，12层，768隐藏层，12个头，180M参数）是在俄罗斯新闻和四种维基百科（保加利亚语、捷克语、波兰语和俄语）上进行训练的。子词汇表是使用这些数据构建的。SlavicBERT使用多语言BERT作为初始化模型。

08.11.2021: 上传带有MLM和NSP头的模型

[1]: Arkhipov M., Trofimova M., Kuratov Y., Sorokin A. (2019). Tuning Multilingual Transformers for Language-Specific Named Entity Recognition . ACL anthology W19-3712.