Pegasus Models

See Docs: here

Original TF 1 code here

Authors: Jingqing Zhang, Yao Zhao, Mohammad Saleh and Peter J. Liu on Dec 18, 2019

Maintained by: @sshleifer

Task: Summarization

The following is copied from the authors' README.

Mixed & Stochastic Checkpoints

We train a pegasus model with sampled gap sentence ratios on both C4 and HugeNews, and stochastically sample important sentences. The updated the results are reported in this table.

"Mixed & Stochastic" 模型有以下更改：

• 在 C4 和 HugeNews 上进行训练（数据集混合根据示例数量进行加权）。
• 进行了 1.5M 而不是 500k 的训练（我们观察到预训练困惑度较慢）。
• 模型在 15% 和 45% 之间均匀采样空格句子比例。
• 使用 20% 的均匀噪声对重要性分数进行采样。
• 更新了 sentencepiece 分词器以能够编码换行符。

(*) wikihow 和 big_patent 数据集的数量不可比较，因为进行了标记化和数据的更改：

• wikihow 数据集包含有用于段落分割的换行符，C4 和 HugeNews 模型的 sentencepiece 分词器不编码换行符，因此丢失了此信息。
• 我们更新了 BigPatent 数据集以保留大小写，同时进行了一些格式清理更改，请参考 TFDS 中的更改。

"Mixed & Stochastic" 模型与论文中的 pegasus-large 模型相比具有以下更改：

在 C4 和 HugeNews 上进行训练（数据集混合根据示例数量进行加权）。进行了 1.5M 而不是 500k 的训练（我们观察到预训练困惑度较慢）。模型在 15% 和 45% 之间均匀采样空格句子比例。使用 20% 的均匀噪声对重要性分数进行采样。更新了 sentencepiece 分词器以能够编码换行符。

引用

@misc{zhang2019pegasus,
    title={PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization},
    author={Jingqing Zhang and Yao Zhao and Mohammad Saleh and Peter J. Liu},
    year={2019},
    eprint={1912.08777},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}