英文

AraBART是第一个在编码器和解码器上进行端到端预训练的阿拉伯语模型,基于BART。 AraBART遵循BART-Basewhich的架构,该架构具有6个编码器和6个解码器层,隐藏维度为768。总共,AraBART有139M个参数。

AraBART在多个抽象摘要数据集上取得了最佳性能,超过了包括预训练的阿拉伯语BERT模型和多语言mBART和mT5模型在内的强基线模型。