Arabic GPT2

您可以在我们的论文中找到更多信息 AraGPT2

这个存储库中的代码用于训练所有的GPT2变体。该代码支持通过TPUEstimator API在GPU和TPU上训练和微调GPT2。

GPT2-base和medium使用了gpt2文件夹中的代码，并且可以使用 minimaxir/gpt-2-simple 存储库的代码训练模型。这些模型使用了lamb优化器，并且遵循与gpt2相同的架构，完全兼容transformers库。

GPT2-large和GPT2-mega使用了 imcaspar/gpt2-ml 库进行训练，并遵循grover架构。您可以使用grover/modeling_gpt2.py中的pytorch类直接替换transformers库中的类（它应该支持transformers库的v4.x版本）。这两个模型都使用adafactor优化器进行训练，因为adam和lamb优化器的内存使用量太大，导致模型甚至无法适应TPU核心的1个批次。

AraGPT2是使用与AraBERTv2相同的大型阿拉伯语数据集进行训练的。

使用方法

使用transformers测试模型：

from transformers import GPT2TokenizerFast, pipeline
#for base and medium
from transformers import GPT2LMHeadModel
#for large and mega
# pip install arabert
from arabert.aragpt2.grover.modeling_gpt2 import GPT2LMHeadModel

from arabert.preprocess import ArabertPreprocessor

MODEL_NAME='aubmindlab/aragpt2-medium'
arabert_prep = ArabertPreprocessor(model_name=MODEL_NAME)

text=""
text_clean = arabert_prep.preprocess(text)

model = GPT2LMHeadModel.from_pretrained(MODEL_NAME)
tokenizer = GPT2TokenizerFast.from_pretrained(MODEL_NAME)
generation_pipeline = pipeline("text-generation",model=model,tokenizer=tokenizer)

#feel free to try different decoding settings
generation_pipeline(text,
    pad_token_id=tokenizer.eos_token_id,
    num_beams=10,
    max_length=200,
    top_p=0.9,
    repetition_penalty = 3.0,
    no_repeat_ngram_size = 3)[0]['generated_text']

使用transformers微调模型：

请按照链接 here 提供的指南进行操作。

使用我们的TF 1.15.4代码进行微调：

创建训练TFRecords：

python create_pretraining_data.py
 --input_file=<RAW TEXT FILE with documents/article separated by an empty line>
 --output_file=<OUTPUT TFRecord>
 --tokenizer_dir=<Directory with the GPT2 Tokenizer files>

微调：

python3 run_pretraining.py \\\n --input_file="gs://<GS_BUCKET>/pretraining_data/*" \\\n --output_dir="gs://<GS_BUCKET>/pretraining_model/" \\\n --config_file="config/small_hparams.json" \\\n --batch_size=128 \\\n --eval_batch_size=8 \\\n --num_train_steps= \\\n --num_warmup_steps= \\\n --learning_rate= \\\n --save_checkpoints_steps= \\\n --max_seq_length=1024 \\\n --max_eval_steps= \\\n --optimizer="lamb" \\\n --iterations_per_loop=5000 \\\n --keep_checkpoint_max=10 \\\n --use_tpu=True \\\n --tpu_name=<TPU NAME> \\\n --do_train=True \\\n --do_eval=False

模型大小

所有模型都可以在HuggingFace模型页面上以 aubmindlab 名称找到。检查点可在PyTorch、TF2和TF1格式中获得。

计算

数据集

用于新的AraGPT2模型的预训练数据也用于AraBERTv2和AraELECTRA。

数据集包含77GB或200,095,961行或8,655,948,860个单词或82,232,988,358个字符（在应用Farasa分词之前）。

对于新数据集，我们将经过彻底过滤的未洗牌的OSCAR语料库添加到了AraBERTv1使用的数据集中，但去掉了先前我们爬取的网站：

• OSCAR未洗牌和过滤。
• Arabic Wikipedia dump 从2020/09/01
• The 1.5B words Arabic Corpus
• The OSIAN Corpus
• Assafir新闻文章。非常感谢Assafir提供给我们的数据。

免责声明

AraGPT2生成的文本是由训练于大量文本的神经网络模型自动生成的，并不代表作者或他们机构的官方态度和偏好。AraGPT2生成的文本仅用于研究和科学目的。如果它侵犯了您的权益或违反了社会道德，请不要传播。

如果您使用了这个模型，请引用我们：

@inproceedings{antoun-etal-2021-aragpt2,
    title = "{A}ra{GPT}2: Pre-Trained Transformer for {A}rabic Language Generation",
    author = "Antoun, Wissam  and
      Baly, Fady  and
      Hajj, Hazem",
    booktitle = "Proceedings of the Sixth Arabic Natural Language Processing Workshop",
    month = apr,
    year = "2021",
    address = "Kyiv, Ukraine (Virtual)",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2021.wanlp-1.21",
    pages = "196--207",
}

致谢

感谢TensorFlow Research Cloud (TFRC)提供免费的Cloud TPU访问权限，没有这个计划，我将无法完成这项工作，并感谢 AUB MIND Lab 成员对我一直以来的支持。还要感谢 Yakshof 和Assafir提供数据和存储访问权限。再次感谢Habib Rahal ( https://www.behance.net/rahalhabib )让AraBERT有了一个面孔。

联系方式

Wissam Antoun: Linkedin | Twitter | Github | wfa07@mail.aub.edu | wissam.antoun@gmail.com

Fady Baly: Linkedin | Twitter | Github | fgb06@mail.aub.edu | baly.fady@gmail.com