GPT2加泰罗尼亚语小型模型第2版（非大小写敏感）

先决条件

transformers==4.19.2

模型架构

该模型使用了GPT2基础模型的设置，但嵌入维度的大小是它们的一半。

分词器

使用BPE分词器，词汇表大小为50,000。

训练数据

• wiki40b/ca （加泰罗尼亚语维基百科）
• oscar 的子集
• CC-100/ca 的子集：来自网络爬取数据的单语数据集

用法

from transformers import pipeline

unmasker = pipeline('fill-mask', model='ClassCat/gpt2-small-catalan-v2')
unmasker("Ell està una mica")