Reddit Webis-TLDR-17 数据集卡片

数据集摘要

这个语料库包含从Reddit数据集（Webis-TLDR-17）预处理的帖子。数据集包括3,848,330个帖子，平均内容长度为270个单词，摘要长度为28个单词。

特征包括字符串：author（作者），body（原文），normalizedBody（归一化后的原文），content（内容），summary（摘要），subreddit（子社区），subreddit_id（子社区ID）。内容用作文档，摘要用作摘要。

支持的任务和排行榜

摘要（抽象）

Webis-TLDR-17 实现的已知 ROUGE 分数：

（来源： https://github.com/sebastianruder/NLP-progress/blob/master/english/summarization.md ）

语言

英语

数据集结构

数据实例

• 下载的数据集文件大小：3.14 GB
• 生成的数据集大小：18.94 GB
• 总计使用的磁盘空间：22.08 GB

'train' 的一个示例如下所示。

{
    "author": "me",
    "body": "<>",
    "content": "input document.",
    "id": "1",
    "normalizedBody": "",
    "subreddit": "machinelearning",
    "subreddit_id": "2",
    "summary": "output summary."
}

数据字段

数据字段在所有拆分中都是相同的。

• author: 字符串特征。
• body: 字符串特征。
• normalizedBody: 字符串特征。
• subreddit: 字符串特征。
• subreddit_id: 字符串特征。
• id: 字符串特征。
• content: 字符串特征。
• summary: 字符串特征。

数据拆分

这个语料库不包含单独的测试集。因此，用户需要将语料库划分为适当的训练、验证和测试集。

数据集创建

策划原理

在摘要生成任务的范围内，Webis-TLDR-17 的创建者提议在社交媒体上挖掘作者提供的摘要，并利用将“TL;DR”附加到长帖子的常见做法。使用Reddit的大规模数据集得到Webis-TLDR-17 语料库。该数据集的目的是补充现有的主要来源于新闻类的摘要生成语料库。

数据来源

Reddit 子社区从2006年到2016年的帖子（提交和评论），带有 "TL;DR"。包括多个子社区。

初始数据：包含从2006年到2016年在Reddit上发布的2.86亿份提交和16亿条评论。然后应用了五个步骤的连续过滤步骤。

该数据集的内容由人类作者生成，通过过滤掉所有Reddit社区提供的广泛列表中的机器人账号以及手动检查用户名包含子字符串 "bot" 的情况，来消除机器人生成的内容。

注释

More Information Needed

More Information Needed

个人和敏感信息

More Information Needed

使用数据时的注意事项

数据的社会影响

这个数据集被创建为大规模摘要生成训练数据的来源。它主要针对自动抽象生成任务，可以被认为是自动摘要生成中最具挑战性的变体之一。它还旨在解决摘要生成数据集中缺乏不同类型文本的问题（大多数都与新闻相关）。

偏见讨论

More Information Needed

其他已知限制

Reddit 用户编写 TL;DR 的动机各不相同，有些是为了提供一个“真实”的摘要，有些是为了提问或寻求帮助，还有些是为了形成判断和结论。正如论文中指出的那样，尽管第一类 TL;DR 帖子对于训练摘要生成模型最重要，但是后者允许进行各种各样的与摘要生成相关的任务。

尽管进行了过滤，但仍可能存在辱骂性语言。

附加信息

数据集策划者

Michael Völske, Martin Potthast, Shahbaz Syed, Benno Stein

许可信息

More Information Needed

引用信息

@inproceedings{volske-etal-2017-tl,
    title = "{TL};{DR}: Mining {R}eddit to Learn Automatic Summarization",
    author = {V{"o}lske, Michael  and
      Potthast, Martin  and
      Syed, Shahbaz  and
      Stein, Benno},
    booktitle = "Proceedings of the Workshop on New Frontiers in Summarization",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/W17-4508",
    doi = "10.18653/v1/W17-4508",
    pages = "59--63",
    abstract = "Recent advances in automatic text summarization have used deep neural networks to generate high-quality abstractive summaries, but the performance of these models strongly depends on large amounts of suitable training data. We propose a new method for mining social media for author-provided summaries, taking advantage of the common practice of appending a {``}TL;DR{''} to long posts. A case study using a large Reddit crawl yields the Webis-TLDR-17 dataset, complementing existing corpora primarily from the news genre. Our technique is likely applicable to other social media sites and general web crawls.",
}

贡献者

感谢 @mariamabarham 、 @patrickvonplaten 、 @thomwolf 添加了此数据集。