EUWikipedias数据集卡：欧盟语言维基百科数据集

数据集摘要

包含清理后的所有语言维基百科文章的维基百科数据集。数据集是基于维基百科转储（ https://dumps.wikimedia.org/ ）构建的，每种语言有一个拆分。每个示例包含清理后的一个完整维基百科文章的内容，清除了markdown和不需要的部分（引用等）。

支持的任务和排行榜

该数据集支持填充掩码的任务。

语言

支持以下语言：bg、cs、da、de、el、en、es、et、fi、fr、ga、hr、hu、it、lt、lv、mt、nl、pl、pt、ro、sk、sl、sv

数据集结构

数据集的格式如下：{日期}/{语言}_{分片}.jsonl.xz目前只支持日期'20221120'。

使用数据集的方式如下：

from datasets import load_dataset

dataset = load_dataset('joelito/EU_Wikipedias', date="20221120", language="de", split='train', streaming=True)

数据实例

文件格式为jsonl.xz，只有一个拆分（train）。

数据字段

[需要更多信息]

数据拆分

[需要更多信息]

数据集创建

此数据集是通过使用 olm/wikipedia 下载欧盟24种语言的维基百科创建的。有关数据集创建的更多信息，请参考prepare_wikipedias.py

策划理由

[需要更多信息]

源数据

[需要更多信息]

[需要更多信息]

注释

[需要更多信息]

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据集的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

其他信息

数据集策划者

[需要更多信息]

许可信息

[需要更多信息]

引用信息

TODO add citation

贡献者

感谢 @JoelNiklaus 添加了此数据集。