WikiNEuRal数据集的数据卡片

描述

• 概述：WikiNEuRal基于多语言词汇知识库（即 BabelNet ）和基于Transformer的架构（即 BERT ），提出了一种新颖的技术，用于生成多语言NER的高质量注释。在NER的常用基准测试上，与最先进的替代数据生成方法相比，它显示出高达6个基于跨度的F1分数的一贯改进。我们使用这种方法自动生成了9种语言的NER训练数据。
• 仓库： https://github.com/Babelscape/wikineural
• 论文： https://aclanthology.org/wikineural
• 联系人：tedeschi@babelscape.com

数据集结构

所有分割的数据字段都是相同的。

• tokens：字符串特征的列表。
• ner_tags：分类标签列表（int）。完整的标签集和索引：

{'O': 0, 'B-PER': 1, 'I-PER': 2, 'B-ORG': 3, 'I-ORG': 4, 'B-LOC': 5, 'I-LOC': 6, 'B-MISC': 7, 'I-MISC': 8}

• lang：字符串特征。支持的语言列表：Dutch（荷兰语，nl），English（英语，en），French（法语，fr），German（德语，de），Italian（意大利语，it），Polish（波兰语，pl），Portugues（葡萄牙语，pt），Russian（俄语，ru），Spanish（西班牙语，es）。

数据集统计

下表显示了每种语言的句子数量、标记数量和每个类别的实例数量。

其他信息

• 许可信息：此存储库的内容仅限于非商业研究目的，受 Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0) 的限制。数据集内容的版权归原版权持有人所有。

• 引用信息：如果您使用了来自此存储库的数据和/或代码，请考虑引用我们的作品。

@inproceedings{tedeschi-etal-2021-wikineural-combined,
    title = "{W}iki{NE}u{R}al: {C}ombined Neural and Knowledge-based Silver Data Creation for Multilingual {NER}",
    author = "Tedeschi, Simone  and
      Maiorca, Valentino  and
      Campolungo, Niccol{\`o}  and
      Cecconi, Francesco  and
      Navigli, Roberto",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2021",
    month = nov,
    year = "2021",
    address = "Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.findings-emnlp.215",
    pages = "2521--2533",
    abstract = "Multilingual Named Entity Recognition (NER) is a key intermediate task which is needed in many areas of NLP. In this paper, we address the well-known issue of data scarcity in NER, especially relevant when moving to a multilingual scenario, and go beyond current approaches to the creation of multilingual silver data for the task. We exploit the texts of Wikipedia and introduce a new methodology based on the effective combination of knowledge-based approaches and neural models, together with a novel domain adaptation technique, to produce high-quality training corpora for NER. We evaluate our datasets extensively on standard benchmarks for NER, yielding substantial improvements up to 6 span-based F1-score points over previous state-of-the-art systems for data creation.",
}

• 贡献：感谢 @sted97 添加了这个数据集。