基于 large_spanish_corpus 训练的西班牙语 GPT-2 模型

这是基于 large_spanish_corpus 数据集（也称为 BETO 的语料库）从头开始训练的西班牙语 GPT-2 模型，使用了 Flax 的一部分数据集，并由 HuggingFace 和 Google 赞助的 TPU 资源支持。

数据集

数据集大小约为 20 GB。其中 95% 的数据用于训练，剩余的 5% 用于验证。

指标（评估数据集）

• 损失：2.413
• 困惑度：11.36

团队成员

• Manuel Romero ( mrm8488 )
• María Grandury ( mariagrandury )
• Pablo González de Prado ( Pablogps )
• Daniel Vera ( daveni )
• Sri Lakshmi ( srisweet )
• José Posada ( jdposa )
• Santiago Hincapie ( shpotes )
• Jorge ( jorgealro )

有用链接

• Community Week timeline
• Community Week README
• Community Week thread