英文

一种基于 BART 的法语序列到序列预训练模型。BARThez通过学习重构损坏的输入句子而进行预训练。使用了66GB法语原始文本语料库进行预训练。与现有的基于BERT的法语语言模型,如CamemBERT和FlauBERT不同,BARThez特别适用于生成任务(如抽象摘要),因为它的编码器和解码器都经过预训练。

除了从头开始预训练的BARThez,我们还继续对多语言BART进行预训练,这提高了它在辨别任务和生成任务中的性能。我们将法语适应版本称为 mBARThez

Model Architecture #layers #params
1234321 BASE 12 165M
1235321 LARGE 24 458M

论文: https://arxiv.org/abs/2010.12321 Github: https://github.com/moussaKam/BARThez

@article{eddine2020barthez,
  title={BARThez: a Skilled Pretrained French Sequence-to-Sequence Model},
  author={Eddine, Moussa Kamal and Tixier, Antoine J-P and Vazirgiannis, Michalis},
  journal={arXiv preprint arXiv:2010.12321},
  year={2020}
}