GPT-2 适应意大利语的循环利用模型（中等，调整词嵌入）

Wietse de Vries • Malvina Nissim

模型描述

该模型基于中等的OpenAI GPT-2模型（ gpt2-medium ）。

该模型中的Transformer层权重与原始的英语模型相同，但词汇层已经重新训练为意大利语词汇。

详细信息请参阅我们关于 arXiv 的论文以及 Github 上的代码。

相关模型

荷兰语

• gpt2-small-dutch-embeddings ：仅重新训练词嵌入的小型模型。
• gpt2-small-dutch ：重新训练词嵌入并对整个模型进行额外微调的小型模型（推荐）。
• gpt2-medium-dutch-embeddings ：仅重新训练词嵌入的中型模型。

意大利语

• gpt2-small-italian-embeddings ：仅重新训练词嵌入的小型模型。
• gpt2-small-italian ：重新训练词嵌入并对整个模型进行额外微调的小型模型（推荐）。
• gpt2-medium-italian-embeddings ：仅重新训练词嵌入的中型模型。

如何使用

from transformers import pipeline

pipe = pipeline("text-generation", model="GroNLP/gpt2-medium-italian-embeddings")

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("GroNLP/gpt2-medium-italian-embeddings")
model = AutoModel.from_pretrained("GroNLP/gpt2-medium-italian-embeddings")  # PyTorch
model = TFAutoModel.from_pretrained("GroNLP/gpt2-medium-italian-embeddings")  # Tensorflow

BibTeX条目

@misc{devries2020good,
      title={As good as new. How to successfully recycle English GPT-2 to make models for other languages}, 
      author={Wietse de Vries and Malvina Nissim},
      year={2020},
      eprint={2012.05628},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}