阿拉伯BERT Mini模型

预训练的阿拉伯BERT Mini语言模型

如果您在工作中使用此模型，请引用本论文：

@inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

预训练语料库

arabic-bert-mini模型预训练了大约82亿个词：

• OSCAR 的阿拉伯语版本-从 Common Crawl 中过滤
• 最新版本的阿拉伯语 Wikipedia

和其他阿拉伯资源，总共约95GB的文本。

关于训练数据的注释：

• 我们的语料库的最终版本包含一些非阿拉伯语的单词，我们没有从句子中删除它们，因为那会影响到一些诸如NER的任务。
• 尽管非阿拉伯字符作为预处理步骤被转换为小写，但由于阿拉伯字符没有大小写之分，模型没有大小写版本。
• 语料库和词汇集不仅限于现代标准阿拉伯语，还包含一些方言阿拉伯语。

预训练细节

• 使用Google BERT的GitHub上的 repository 在一个免费提供的TPU v3-8上训练的。
• 我们的预训练过程遵循bert的训练设置，并进行了一些更改：训练步数为3M，批大小为128，而不是1M的批大小为256。

加载预训练模型

您可以通过安装torch或tensorflow和Huggingface库transformers来使用此模型。您可以像这样直接初始化它：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-mini-arabic")
model = AutoModelForMaskedLM.from_pretrained("asafaya/bert-mini-arabic")

结果

有关模型性能或其他任何查询的更多详细信息，请参阅 Arabic-BERT

致谢

感谢Google免费提供TPU进行训练，并感谢Huggingface在其服务器上托管此模型 ?