印尼大规模摘要数据集数据卡片

数据集摘要

在这篇论文中，我们介绍了一个大规模的印尼摘要数据集。我们从这个http URL的在线新闻门户网站收集文章，并获得了215,827个文档-摘要对。我们利用预训练的语言模型开发了基于多语言和单语BERT的摘要提取和摘要生成方法，对数据集进行了评估。我们通过检查具有低ROUGE分数的机器生成摘要来进行彻底的错误分析，同时揭示了ROUGE本身以及摘要提取和摘要生成模型的问题。

数据集有两个变种："标准"和"极限"。"极限"变种舍弃了开发和测试文档-摘要对，其中摘要中四元组的新增程度少于90％（训练数据保持与标准变种相同）。

您需要使用 https://github.com/fajri91/sum_liputan6/ 中的表单手动请求liputan6数据集并解压缩。然后可以使用以下命令加载liputan6数据集：datasets.load_dataset("id_liputan6", 'canonical', data_dir="")或datasets.load_dataset("id_liputan6", 'xtreme', data_dir="")。

支持的任务和排行榜

[需要更多信息]

语言

印尼语

数据集结构

{
  'id': 'string',
  'url': 'string',
  'clean_article': 'string',
  'clean_article': 'string',
  'extractive_summary': 'string'
}

数据实例

数据集的一个示例：

{
  'clean_article': 'Liputan6.com, Ambon: Partai Bulan Bintang wilayah Maluku bertekad membantu pemerintah menyelesaikan konflik di provinsi tersebut. Syaratnya, penanganan penyelesaian konflik Maluku harus dimulai dari awal kerusuhan, yakni 19 Januari 1999. Demikian hasil Musyawarah Wilayah I PBB Maluku yang dimulai Sabtu pekan silam dan berakhir Senin (31/12) di Ambon. Menurut seorang fungsionaris PBB Ridwan Hasan, persoalan di Maluku bisa selesai asalkan pemerintah dan aparat keamanan serius menangani setiap persoalan di Maluku secara komprehensif dan bijaksana. Itulah sebabnya, PBB wilayah Maluku akan menjadikan penyelesaian konflik sebagai agenda utama partai. PBB Maluku juga akan mendukung penegakan hukum secara terpadu dan tanpa pandang bulu. Siapa saja yang melanggar hukum harus ditindak. Ridwan berharap, Ketua PBB Maluku yang baru, Ali Fauzi, dapat menindak lanjuti agenda politik partai yang telah diamanatkan dan mau mendukung penegakan hukum di Maluku. (ULF/Sahlan Heluth).',
  'clean_summary': 'Konflik Ambon telah berlangsung selama tiga tahun. Partai Bulan Bintang wilayah Maluku siap membantu pemerintah menyelesaikan kasus di provinsi tersebut.',
  'extractive_summary': 'Liputan6.com, Ambon: Partai Bulan Bintang wilayah Maluku bertekad membantu pemerintah menyelesaikan konflik di provinsi tersebut. Siapa saja yang melanggar hukum harus ditindak.',
  'id': '26408',
  'url': 'https://www.liputan6.com/news/read/26408/pbb-siap-membantu-penyelesaian-konflik-ambon'
}

数据字段

• id：样本的ID
• url：原始文章的URL
• clean_article：原始文章
• abstractive_summary：生成的摘要
• extractive_summary：提取的摘要

数据拆分

数据集分为训练集、验证集和测试集。

数据集创建

策划理由

[需要更多信息]

源数据

[需要更多信息]

[需要更多信息]

注释

[需要更多信息]

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

其他信息

数据集策划者

[需要更多信息]

许可信息

[需要更多信息]

引用信息

@inproceedings{Koto2020Liputan6AL,
  title={Liputan6: A Large-scale Indonesian Dataset for Text Summarization},
  author={Fajri Koto and Jey Han Lau and Timothy Baldwin},
  booktitle={AACL/IJCNLP},
  year={2020}
}

贡献者

感谢 @cahya-wirawan 添加了这个数据集。