BART-LARGE在SQuADv1上的微调

这是在SQuADv1数据集上微调的BART-LARGE模型，用于问答任务

模型详情

BART是在《BART:去噪序列到序列预训练用于自然语言生成、翻译和理解》中提出的。BART是一种用于自然语言生成和理解任务的序列到序列模型。

要将BART用于问答任务，我们将完整文档输入编码器和解码器，并使用解码器的顶部隐藏状态作为每个单词的表示。这个表示用于对标记进行分类。正如论文中所述，BART-LARGE在SQuAD上取得了与ROBERTa可比较的结果。BART的另一个显著特点是它可以处理长达1024个标记的序列。

模型训练

此模型在Google Colab的V100 GPU上进行了训练。可以在这里找到微调的Colab。

结果

实际结果略低于论文中给出的结果。论文中提到BART-LARGE实现了88.8的EM和94.6的F1。

模型展示 ?

由Suraj Patil❤️创建