介绍

Allenai's Longformer Encoder-Decoder (LED) 。

正如Iz Beltagy、Matthew E. Peters、Arman Cohan在 Longformer: The Long-Document Transformer 中所描述的那样，led-base-16384是从 bart-base 初始化的，因为这两个模型具有完全相同的架构。为了能够处理16K个标记，bart-base的位置嵌入矩阵只需简单地复制16次。

该模型特别适用于长距离摘要和问答。

针对下游任务的微调

This notebook 显示了如何在下游任务上有效地对led-base-16384进行微调。