ScandiReddit数据集卡片

数据集概要

ScandiReddit是一个经过过滤和后处理的语料库，包含了 Reddit 条评论。

从2005年12月到2022年10月的所有Reddit评论都经过了 PushShift 下载，然后根据FastText语言检测模型进行了过滤。任何被分类为丹麦语( da )、挪威语( no )、瑞典语( sv )或冰岛语( is )且置信度分数超过70%的评论都被保留下来。

然后对结果进行了去重处理，删除了大约438,000个评论。删除了5,000个由Reddit机器人编写的评论，以及大约189,000个属于不当子版块（色情和涉毒）的评论。

最后，我们从结果语料库中删除了大约40,000个近似重复的评论，这里的近似重复意味着这些评论有超过80%的五词组在另一条评论中也存在。

支持的任务和排行榜

该数据集的目标任务是训练语言模型。目前还没有排行榜。

语言

数据集提供的语言有丹麦语( da )、瑞典语( sv )、挪威语( no )和冰岛语( is )。

数据集结构

数据实例

• 下载的数据集文件大小: 2341 MB
• 生成的数据集大小: 3594 MB
• 使用的总磁盘空间: 5935 MB

数据集中的一条示例如下所示。

{
    'doc': 'Bergen er ødelagt. Det er ikke moro mer.',
    'subreddit': 'Norway',
    'language': 'da',
    'language_confidence': 0.7472341656684875
}

数据字段

所有拆分的数据字段相同。

• doc: 一个string类型的特征。
• subreddit: 一个string类型的特征。
• language: 一个string类型的特征。
• language_confidence: 一个float64类型的特征。

语言分布

前50个子版块分布

数据集创建

策划理由

斯堪的纳维亚语言没有太多的开源社交媒体数据集。

数据来源

原始的Reddit数据是通过 PushShift 收集的。

附加信息

数据集策划者

来自 The Alexandra Institute 的 Dan Saattrup Nielsen 策划了此数据集。

许可信息

该数据集的许可协议是 CC BY 4.0 license 。