Arabic BERT 模型

预训练的阿拉伯语 BERT 基础语言模型

如果您在工作中使用了此模型，请引用此论文：

@inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

预训练语料库

arabic-bert-base 模型的预训练语料库包含约 82 亿个词：

• 阿拉伯语版本的 OSCAR - 经过 Common Crawl 过滤
• 阿拉伯语的最新转存 Wikipedia

还包括其他阿拉伯语资源，总共约 95GB 的文本。

关于训练数据的说明：

• 我们的最终版本的语料库中包含一些非阿拉伯语单词，我们没有从句子中删除它们，因为那会影响一些任务，如命名实体识别。
• 虽然非阿拉伯字符在预处理阶段转为小写，但阿拉伯字符没有大小写之分，因此模型没有大小写的版本。
• 语料库和词汇表不仅限于现代标准阿拉伯语，还包含一些方言阿拉伯语。

预训练细节

• 该模型使用 Google BERT 的 Github repository 在单个提供的免费 TPU v3-8 上进行训练。
• 我们的预训练过程按照 BERT 的训练设置进行，但有一些改变：使用批量大小为 128 进行了 3M 步的训练，而不是使用批量大小为 256 进行了 1M 步的训练。

加载预训练模型

您可以安装 torch 或 tensorflow 以及 Huggingface 库 transformers ，并像这样初始化模型：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-base-arabic")
model = AutoModelForMaskedLM.from_pretrained("asafaya/bert-base-arabic")

结果

有关模型性能或其他问题的详细信息，请参考 Arabic-BERT

致谢

感谢 Google 提供免费 TPU 进行训练，并感谢 Huggingface 在其服务器上托管此模型 ?