使用方法

使用以下代码加载 transformers 库:

from transformers import AutoTokenizer, AutoModelForMaskedLM
  
  tokenizer = AutoTokenizer.from_pretrained("EMBEDDIA/est-roberta")
  model = AutoModelForMaskedLM.from_pretrained("EMBEDDIA/est-roberta")

Est-RoBERTa

Est-RoBERTa 模型是一个单语爱沙尼亚语的类似 BERT 的模型。它与法语的 Camembert 模型密切相关。用于训练该模型的爱沙尼亚语语料库中总共有 25.1 亿个标记。子词词汇表包含 40,000 个标记。

Est-RoBERTa 模型进行了 40 个时期的训练。