PRIMERA的HF版本模型：基于金字塔的遮罩句子预训练用于多文档摘要（ACL 2022）。

原始代码可以在 here 中找到。您可以在原始的github存储库中找到训练/评估模型的脚本和笔记本。

• 注意：由于原始Longformer和Huggingface LED模型的实现差异，转换模型的结果略有不同。我们在MultiNews数据集上对经过微调和非经过微调的模型进行了验证，并显示结果如下：

您可以通过以下方式使用它

from transformers import (
    AutoTokenizer,
    LEDConfig,
    LEDForConditionalGeneration,
)
tokenizer = AutoTokenizer.from_pretrained('allenai/PRIMERA')
config=LEDConfig.from_pretrained('allenai/PRIMERA')
model = LEDForConditionalGeneration.from_pretrained('allenai/PRIMERA')