RoBERTa 西班牙语基础模型（未大小写区分）

先决条件

transformers==4.19.2

模型架构

该模型使用 RoBERTa 基础设置，除了词汇表大小。

分词器

使用具有50,000个词汇量的 BPE 分词器。

训练数据

• wiki40b/es （西班牙语维基百科）
• 从网络爬取的单语语料数据集的子集： CC-100/es

用法

from transformers import pipeline

unmasker = pipeline('fill-mask', model='ClassCat/roberta-base-spanish')
unmasker("Yo soy <mask>.")