!!! 该模型有更新版本可用 !!! AraBERTv02

AraBERT v1 & v2：用于阿拉伯语理解的预训练BERT

AraBERT是基于 Google's BERT architechture 的阿拉伯语预训练语言模型。AraBERT使用相同的BERT-Base配置。更多详细信息请参见 AraBERT Paper 和 AraBERT Meetup

该模型有两个版本，AraBERTv0.1和AraBERTv1，区别在于AraBERTv1使用预分段文本，其中前缀和后缀使用 Farasa Segmenter 拆分。

我们将AraBERT模型评估为不同的下游任务，并将其与 mBERT 和其他最先进的模型进行比较（据我们所知）。任务包括对6个不同数据集的情感分析（ HARD 、 ASTD-Balanced 、 ArsenTD-Lev 、 LABR ），使用 ANERcorp 进行命名实体识别，以及使用 Arabic-SQuAD and ARCD 的阿拉伯语问答。

AraBERTv2

最新消息！

AraBERT现在有4个新变体，用于取代旧的v1版本：

有关更多详情，请参见AraBERT文件夹，以及 README 和 AraBERT Paper

所有模型均可在HuggingFace模型页面下的 aubmindlab 名称下找到。检查点以PyTorch、TF2和TF1格式可用。

更好的预处理和新词汇表

我们发现AraBERTv1的词块词汇表存在问题。问题在于在学习词块词汇表时，标点符号和数字仍然附加在单词上。我们现在在数字和字符之间以及标点字符周围插入空格。

新的词汇表是使用tokenizers库的BertWordpieceTokenizer学习的，并且现在应该支持transformers库中的Fast tokenizer实现。

P.S. ：所有旧的BERT代码应该与新的BERT一起使用，只需更改模型名称并检查新的预处理函数。请阅读有关如何使用预处理函数的部分

更大的数据集和更多计算

我们使用了约3.5倍的数据，并进行了更长时间的训练。有关数据集来源，请参见数据集部分

数据集

用于新的AraBERT模型的预训练数据也用于阿拉伯语GPT2和ELECTRA。

该数据集包含77GB或200,095,961行或8,655,948,860个单词或82,232,988,358个字符（在应用Farasa分词之前）。

对于新数据集，我们将未洗牌和经过滤的OSCAR语料库添加到AraBERTv1中使用的先前数据集中，但排除了我们先前爬取的网站：

• 未洗牌和经过滤的OSCAR。
• Arabic Wikipedia dump 自2020年9月1日起
• The 1.5B words Arabic Corpus
• The OSIAN Corpus
• Assafir新闻文章。非常感谢Assafir为我们提供数据

预处理

强烈建议在对任何数据集进行训练/测试之前应用我们的预处理函数。安装farasapy对AraBERT v1 & v2进行文本分割 pip install farasapy

from arabert.preprocess import ArabertPreprocessor

model_name="bert-base-arabertv01"
arabert_prep = ArabertPreprocessor(model_name=model_name)

text = "ولن نبالغ إذا قلنا إن هاتف أو كمبيوتر المكتب في زمننا هذا ضروري"
arabert_prep.preprocess(text)

允许的模型

bert-base-arabertv01
bert-base-arabert
bert-base-arabertv02
bert-base-arabertv2
bert-large-arabertv02
bert-large-arabertv2
araelectra-base
aragpt2-base
aragpt2-medium
aragpt2-large
aragpt2-mega

TensorFlow 1.x模型

TF1.x模型可在HuggingFace模型存储库中找到。您可以按以下方式下载它们：

• 通过git-lfs：在存储库中克隆所有模型

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install
git clone https://huggingface.co/aubmindlab/MODEL_NAME
tar -C ./MODEL_NAME -zxvf /content/MODEL_NAME/tf1_model.tar.gz

其中MODEL_NAME是以aubmindlab为名称的任何模型

• 通过wget：
  • 转到huggingface.co/models/aubmindlab/MODEL_NAME上的tf1_model.tar.gz文件。
  • 复制sha256 oid
  • 然后运行wget https://cdn-lfs.huggingface.co/aubmindlab/aragpt2-base/INSERT_THE_SHA_HERE（例如，对于aragpt2-base：wget https://cdn-lfs.huggingface.co/aubmindlab/aragpt2-base/3766fc03d7c2593ff2fb991d275e96b81b0ecb2098b71ff315611d052ce65248）

如果您使用了该模型，请引用我们：

Google学术中的Bibtex信息有误（缺少姓名），请改用此信息

@inproceedings{antoun2020arabert,
  title={AraBERT: Transformer-based Model for Arabic Language Understanding},
  author={Antoun, Wissam and Baly, Fady and Hajj, Hazem},
  booktitle={LREC 2020 Workshop Language Resources and Evaluation Conference 11--16 May 2020},
  pages={9}
}

鸣谢

感谢TensorFlow研究云（TFRC）免费提供的Cloud TPUs，没有这个计划就无法完成，并感谢 AUB MIND Lab 成员的持续支持。同时感谢 Yakshof 和Assafir提供的数据和存储访问权限。还要感谢Habib Rahal（ https://www.behance.net/rahalhabib ）为AraBERT树立了形象。

联系方式

Wissam Antoun : Linkedin | Twitter | Github | wfa07@mail.aub.edu | wissam.antoun@gmail.com

Fady Baly : Linkedin | Twitter | Github | fgb06@mail.aub.edu | baly.fady@gmail.com