模型:
moussaKam/barthez
基于 BART 的法语序列到序列预训练模型。BARThez的预训练是通过学习重构被破坏的输入句子来完成的。使用了66GB法语原始文本语料库进行预训练。BARThez与现有的基于BERT的法语语言模型(如CamemBERT和FlauBERT)不同,特别适用于生成任务(如摘要概括),因为它的编码器和解码器都进行了预训练。
除了从头开始预训练的BARThez之外,我们还继续对多语种BART进行预训练,提高了它在判别和生成任务中的性能。我们称这个法语适应版本为 mBARThez 。
Model | Architecture | #layers | #params |
---|---|---|---|
1234321 | BASE | 12 | 165M |
1235321 | LARGE | 24 | 458M |
paper: https://arxiv.org/abs/2010.12321 github: https://github.com/moussaKam/BARThez
@article{eddine2020barthez, title={BARThez: a Skilled Pretrained French Sequence-to-Sequence Model}, author={Eddine, Moussa Kamal and Tixier, Antoine J-P and Vazirgiannis, Michalis}, journal={arXiv preprint arXiv:2010.12321}, year={2020} }