GPT-2 模型从头开始在西班牙语部分上进行训练,数据集为 OSCAR . 该模型使用Flax和由Google赞助的TPU进行训练,这是HuggingFace组织的一部分。
用于训练的模型是 OpenAI's GPT-2 模型,该模型由 Alec Radford、Jeffrey Wu、Rewon Child、David Luan、Dario Amodei和Ilya Sutskever 在论文 "Language Models are Unsupervised Multitask Learners" 中介绍。
此模型在 ? Model Hub 库中可用。
使用 OSCAR 或 O pen S uper-large C rawled A LMAnaCH co R pus 的西班牙语部分进行训练,这是一个通过语言分类和使用 goclassy 架构过滤 Common Crawl 语料库获得的大型多语言语料库。
此语料库在 ? Datasets 库中可用。