GPT-2改进版 - 用于意大利语（小型，适应性词嵌入）

Wietse de Vries • Malvina Nissim

模型描述

该模型基于小型的OpenAI GPT-2（ gpt2 ）模型。

该模型的Transformer层权重与原始的英语模型相同，但是词汇层已重新训练以适应意大利语词汇。

更多详细信息，请参阅我们的 arXiv 论文以及 Github 上的代码。

相关模型

荷兰语

• gpt2-small-dutch-embeddings ：小型模型尺寸，只重新训练了词嵌入。
• gpt2-small-dutch ：小型模型尺寸，重新训练了词嵌入并对整个模型进行了额外微调。（推荐）
• gpt2-medium-dutch-embeddings ：中型模型尺寸，只重新训练了词嵌入。

意大利语

• gpt2-small-italian-embeddings ：小型模型尺寸，只重新训练了词嵌入。
• gpt2-small-italian ：小型模型尺寸，重新训练了词嵌入并对整个模型进行了额外微调。（推荐）
• gpt2-medium-italian-embeddings ：中型模型尺寸，只重新训练了词嵌入。

如何使用

from transformers import pipeline

pipe = pipeline("text-generation", model="GroNLP/gpt2-small-italian-embeddings")

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("GroNLP/gpt2-small-italian-embeddings")
model = AutoModel.from_pretrained("GroNLP/gpt2-small-italian-embeddings")  # PyTorch
model = TFAutoModel.from_pretrained("GroNLP/gpt2-small-italian-embeddings")  # Tensorflow

BibTeX条目

@misc{devries2020good,
      title={As good as new. How to successfully recycle English GPT-2 to make models for other languages}, 
      author={Wietse de Vries and Malvina Nissim},
      year={2020},
      eprint={2012.05628},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}