GPT-2 用于荷兰语的回收（中等大小，适应词汇嵌入）

Wietse de Vries • Malvina Nissim

模型描述

该模型基于中等大小的 OpenAI GPT-2（ gpt2-medium ）模型。

此模型中的 Transformer 层权重与原始的英语模型相同，但词汇层的训练已重新针对荷兰语词汇进行了。

详情请参阅我们关于 arXiv 的论文以及代码 Github 。

相关模型

荷兰语

• gpt2-small-dutch-embeddings ：仅重新训练的词汇嵌入的小型模型。
• gpt2-small-dutch ：重新训练的词汇嵌入和完整模型的额外微调的小型模型。（推荐）
• gpt2-medium-dutch-embeddings ：仅重新训练的词汇嵌入的中型模型。

意大利语

• gpt2-small-italian-embeddings ：仅重新训练的词汇嵌入的小型模型。
• gpt2-small-italian ：重新训练的词汇嵌入和完整模型的额外微调的小型模型。（推荐）
• gpt2-medium-italian-embeddings ：仅重新训练的词汇嵌入的中型模型。

如何使用

from transformers import pipeline

pipe = pipeline("text-generation", model="GroNLP/gpt2-medium-dutch-embeddings")

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("GroNLP/gpt2-medium-dutch-embeddings")
model = AutoModel.from_pretrained("GroNLP/gpt2-medium-dutch-embeddings")  # PyTorch
model = TFAutoModel.from_pretrained("GroNLP/gpt2-medium-dutch-embeddings")  # Tensorflow

BibTeX 记录

@misc{devries2020good,
      title={As good as new. How to successfully recycle English GPT-2 to make models for other languages}, 
      author={Wietse de Vries and Malvina Nissim},
      year={2020},
      eprint={2012.05628},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}