数据集:

id_newspapers_2018

语言:

id

计算机处理:

monolingual

大小:

100K<n<1M

语言创建人:

found

批注创建人:

no-annotation

源数据集:

original

许可:

cc-by-4.0
英文

Indonesian Newspapers 2018 数据集卡片

数据集概述

该数据集包含来自7家印度尼西亚报纸的约50万篇文章(136M字): Detik, Kompas, Tempo, CNN Indonesia, Sindo, Republika 和 Poskota。这些文章的日期范围从2018年1月1日到2018年8月20日(少数文章日期较早)。未压缩的500K个json文件(newspapers-json.tgz)约为2.2GB,清理后的未压缩大文本文件(newspapers.txt.gz)约为1GB。Google Drive的原始来源还包含以html格式的数据集,其中包括来自在线新闻网站的原始数据(图片、css、javascript等)。原始数据集的副本可在 https://cloud.uncool.ai/index.php/s/mfYEAgKQoY3ebbM 处找到。

支持的任务和排行榜

[需要更多信息]

语言

印度尼西亚语

数据集结构

{
  'id': 'string',
  'url': 'string',
  'date': 'string',
  'title': 'string',
  'content': 'string'
}

数据实例

数据集中的一个实例为

{'id': '0',
 'url': 'https://www.cnnindonesia.com/olahraga/20161221234219-156-181385/lorenzo-ingin-samai-rekor-rossi-dan-stoner',
 'date': '2016-12-22 07:00:00',
 'title': 'Lorenzo Ingin Samai Rekor Rossi dan Stoner',
 'content': 'Jakarta, CNN Indonesia -- Setelah bergabung dengan Ducati, Jorge Lorenzo berharap bisa masuk dalam jajaran pebalap yang mampu jadi juara dunia kelas utama dengan dua pabrikan berbeda. Pujian Max Biaggi untuk Valentino Rossi Jorge Lorenzo Hadir dalam Ucapan Selamat Natal Yamaha Iannone: Saya Sering Jatuh Karena Ingin yang Terbaik Sepanjang sejarah, hanya ada lima pebalap yang mampu jadi juara kelas utama (500cc/MotoGP) dengan dua pabrikan berbeda, yaitu Geoff Duke, Giacomo Agostini, Eddie Lawson, Valentino Rossi, dan Casey Stoner. Lorenzo ingin bergabung dalam jajaran legenda tersebut. “Fakta ini sangat penting bagi saya karena hanya ada lima pebalap yang mampu menang dengan dua pabrikan berbeda dalam sejarah balap motor.” “Kedatangan saya ke Ducati juga menghadirkan tantangan yang sangat menarik karena hampir tak ada yang bisa menang dengan Ducati sebelumnya, kecuali Casey Stoner. Hal itu jadi motivasi yang sangat bagus bagi saya,” tutur Lorenzo seperti dikutip dari Crash Lorenzo saat ini diliputi rasa penasaran yang besar untuk menunggang sepeda motor Desmosedici yang dipakai tim Ducati karena ia baru sekali menjajal motor tersebut pada sesi tes di Valencia, usai MotoGP musim 2016 berakhir. “Saya sangat tertarik dengan Ducati arena saya hanya memiliki kesempatan mencoba motor itu di Valencia dua hari setelah musim berakhir. Setelah itu saya tak boleh lagi menjajalnya hingga akhir Januari mendatang. Jadi saya menjalani penantian selama dua bulan yang panjang,” kata pebalap asal Spanyol ini. Dengan kondisi tersebut, maka Lorenzo memanfaatkan waktu yang ada untuk liburan dan melepaskan penat. “Setidaknya apa yang terjadi pada saya saat ini sangat bagus karena saya jadi memiliki waktu bebas dan sedikit liburan.” “Namun tentunya saya tak akan larut dalam liburan karena saya harus lebih bersiap, terutama dalam kondisi fisik dibandingkan sebelumnya, karena saya akan menunggangi motor yang sulit dikendarai,” ucap Lorenzo. Selama sembilan musim bersama Yamaha, Lorenzo sendiri sudah tiga kali jadi juara dunia, yaitu pada 2010, 2012, dan 2015. (kid)'}

数据字段

  • id:样本的id
  • url:原始文章的URL
  • date:文章的发布日期
  • title:文章的标题
  • content:文章的内容

数据拆分

该数据集包含499,164个样本的训练集。

数据集创建

策划原因

[需要更多信息]

原始数据

初始数据收集和规范化

[需要更多信息]

谁是源语言的制造者?

[需要更多信息]

注释

注释过程

[需要更多信息]

谁是注释者?

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

其他信息

数据集策划者

[需要更多信息]

许可信息

此作品采用知识共享署名-相同方式共享4.0国际许可。该数据集仅用于帮助巴哈萨印尼语(计算机或语言学)的开放科学研究,并且只能用于此目的。数据集中每篇文章的所有权属于其提取自的相应报纸;数据集存储库的维护者不声称对其中任何内容的所有权。如果您认为该数据集以任何方式侵犯了任何已建立的版权,请联系数据集存储库的维护者。

引用信息

[N/A]

贡献

感谢 @cahya-wirawan 添加了此数据集。