RoBERTa基础模型 - 印地语

使用掩码语言建模（MLM）目标在印地语上进行的预训练模型。 A more interactive & comparison demo is available here 。

这是由 Hugging Face 组织且由Google赞助的TPU使用的 Flax/Jax Community Week 的一部分。

模型描述

RoBERTa Hindi是在大量印地语数据集（包括mc4、oscar和indic-nlp数据集）上预训练的transformers模型。

使用方法

您可以直接使用此模型通过管道进行掩码语言建模：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='flax-community/roberta-hindi')
>>> unmasker("हम आपके सुखद <mask> की कामना करते हैं")
[{'score': 0.3310680091381073,
  'sequence': 'हम आपके सुखद सफर की कामना करते हैं',
  'token': 1349,
  'token_str': ' सफर'},
 {'score': 0.15317578613758087,
  'sequence': 'हम आपके सुखद पल की कामना करते हैं',
  'token': 848,
  'token_str': ' पल'},
 {'score': 0.07826550304889679,
  'sequence': 'हम आपके सुखद समय की कामना करते हैं',
  'token': 453,
  'token_str': ' समय'},
 {'score': 0.06304813921451569,
  'sequence': 'हम आपके सुखद पहल की कामना करते हैं',
  'token': 404,
  'token_str': ' पहल'},
 {'score': 0.058322224766016006,
  'sequence': 'हम आपके सुखद अवसर की कामना करते हैं',
  'token': 857,
  'token_str': ' अवसर'}]

训练数据

RoBERTa Hindi模型是在以下数据集的组合上进行预训练的：

• OSCAR 是通过对Common Crawl语料库进行语言分类和过滤使用goclassy方法获得的庞大多语言语料库。
• mC4 是Common Crawl网络爬行语料库的多语言版本，并进行了清理。
• IndicGLUE 是自然语言理解基准。
• Samanantar 是用于印地语的并行语料库收集。
• Hindi Text Short and Large Summarization Corpus 是从印地语新闻网站中收集的约18万篇文章及其标题和摘要。
• Hindi Text Short Summarization Corpus 是从印地语新闻网站中收集的约33万篇文章及其标题。
• Old Newspapers Hindi 是HC Corpora报纸的清理子集。

训练过程

预处理

文本使用字节级的Byte-Pair Encoding（BPE）进行分词，词汇大小为50265。模型的输入接受512个连续标记的片段，这些片段可能横跨多个文档。一个新文档的开始由<s>标记，结束由</s>标记。

• 我们必须清理mC4和oscar数据集，通过从数据集中删除所有非印地语（非天城文）字符。
• 我们尝试通过 manual labelling 对 IndicGlue 基准的WikiNER评估集进行筛选，其中实际标签不正确，并对 downstream evaluation dataset 进行修改。

每个句子的掩码过程的详细信息如下：

• 15%的标记被掩码。
• 在80%的情况下，掩码标记被替换为<mask>。
• 在10%的情况下，掩码标记被随机选择的标记（不同于替换后的标记）替换。
• 在其余10%的情况下，掩码标记保持不变。与BERT不同，掩码是在预训练期间动态进行的（例如，它在每个时期都会更改，而不是固定的）。

预训练

该模型在Google Cloud Engine TPUv3-8机器上进行训练（具有335 GB的RAM，1000 GB的硬盘，96个CPU核心）。使用mC4、oscar和上述其他数据集的组合数据集的随机洗牌来训练模型。训练日志位于 wandb 中。

评估结果

RoBERTa Hindi在各种下游任务上进行了评估。结果如下所述。

团队成员

• Aman K（ amankhandelia ）
• Haswanth Aekula（ hassiahk ）
• Kartik Godawat（ dk-crazydiv ）
• Prateek Agrawal（ prateekagrawal ）
• Rahul Dev（ mlkorra ）

致谢

非常感谢Hugging Face ?和Google Jax/Flax团队提供如此出色的社区周活动，特别感谢 Suraj Patil 和 Patrick von Platen 在整个周活动期间的指导。