混合与随机检查点

我们训练了一个 Pegasus 模型，使用采样的间隔句子比例在 C4 和 HugeNews 上训练，并随机采样重要句子。更新后的结果报告在这个表格中。

dataset	C4	HugeNews	Mixed & Stochastic
xsum	45.20/22.06/36.99	47.21/24.56/39.25	47.60/24.83/39.64
cnn_dailymail	43.90/21.20/40.76	44.17/21.47/41.11	44.16/21.56/41.30
newsroom	45.07/33.39/41.28	45.15/33.51/41.33	45.98/34.20/42.18
multi_news	46.74/17.95/24.26	47.52/18.72/24.91	47.65/18.75/24.95
gigaword	38.75/19.96/36.14	39.12/19.86/36.24	39.65/20.47/36.76
wikihow	43.07/19.70/34.79	41.35/18.51/33.42	46.39/22.12/38.41 *
reddit_tifu	26.54/8.94/21.64	26.63/9.01/21.60	27.99/9.81/22.94
big_patent	53.63/33.16/42.25	53.41/32.89/42.07	52.29/33.08/41.66 *
arxiv	44.70/17.27/25.80	44.67/17.18/25.73	44.21/16.95/25.67
pubmed	45.49/19.90/27.69	45.09/19.56/27.42	45.97/20.15/28.25
aeslc	37.69/21.85/36.84	37.40/21.22/36.45	37.68/21.25/36.51
billsum	57.20/39.56/45.80	57.31/40.19/45.82	59.67/41.58/47.59

"混合与随机"模型做出了以下更改：

根据两个数据集（C4 和 HugeNews）进行训练（数据集混合通过数据集示例的数量加权）。
训练时长为 150 万步而不是 50 万步（我们观察到预训练困惑度的收敛速度较慢）。
模型均匀采样一个介于 15% 和 45% 之间的间隔句子比例。
使用 20% 的均匀噪声对重要性得分进行采样。
更新了 SentencePiece 分词器，使其能够编码换行符。

(*) wikihow 和 big_patent 数据集的数量不可比较，因为有了分词和数据方面的变化：

wikihow 数据集包含换行符，这对于段落分割很有用，而 C4 和 HugeNews 模型的 SentencePiece 分词器并不编码换行符，因此丢失了这些信息。
我们更新了 BigPatent 数据集以保留大小写，某些格式清理也发生了变化，请参考 TFDS 中的更改。

"混合与随机"模型相对于论文中的 pegasus-large 模型做出了以下更改：

根据两个数据集（C4 和 HugeNews）进行训练（数据集混合通过数据集示例的数量加权）。训练时长为 150 万步而不是 50 万步（我们观察到预训练困惑度的收敛速度较慢）。模型均匀采样一个介于 15% 和 45% 之间的间隔句子比例。使用 20% 的均匀噪声对重要性得分进行采样。更新了 SentencePiece 分词器，使其能够编码换行符。

引用


@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

作者:

Google AI

数据集大小:

8.48 GB