数据集概述

DANSK（Danish Annotations for NLP Specific TasKs）数据集是一个包含来自多个领域的文本的数据集，从丹麦GigaWord语料库（DAGW）中采样而来。该数据集的创建是为了填补丹麦NLP数据集在不同领域上的空白，以便训练能够跨领域泛化的模型。命名实体的注释是细粒度的，并且与OntoNotes v5的形式相似，这极大地扩展了数据集的用途。 领域包括Web、新闻、维基百科、图书、法律、Dannet、会话和社交媒体。有关领域的更详细了解，请参阅 DAGW 。

在下表中可以看到每个领域内的文本和命名实体的分布情况：

更新日志

• 2023年5月26日：添加了每个注释者的单独注释，以便进行注释者间一致性分析

支持的任务

DANSK数据集目前仅支持命名实体识别，但将在以后的版本发布中包含更多任务的数据。

语言

数据集中的所有文本均为丹麦语。可能会出现来自各种平台或方言的俚语，与原始采样文本的领域相关 - 例如社交媒体。

数据集结构

数据实例

JSON格式的数据的形式如下所示：

{
    "text": "Aborrer over 2 kg er en uhyre sj\u00e6lden fangst.",
    "ents": [{"start": 13, "end": 17, "label": "QUANTITY"}],
    "sents": [{"start": 0, "end": 45}],
    "tokens": [
        {"id": 0, "start": 0, "end": 7},
        {"id": 1, "start": 8, "end": 12},
        {"id": 2, "start": 13, "end": 14},
        {"id": 3, "start": 15, "end": 17},
        {"id": 4, "start": 18, "end": 20},
        {"id": 5, "start": 21, "end": 23},
        {"id": 6, "start": 24, "end": 29},
        {"id": 7, "start": 30, "end": 37},
        {"id": 8, "start": 38, "end": 44},
        {"id": 9, "start": 44, "end": 45},
    ],
    "spans": {"incorrect_spans": []},
    "dagw_source": "wiki",
    "dagw_domain": "Wiki & Books",
    "dagw_source_full": "Wikipedia",
}

数据字段

• text：文本内容
• ents：标注的实体
• sents：文本中的句子
• dagw_source：文本采样自丹麦Gigaword语料库中的来源简称
• dagw_source_full：文本采样自丹麦Gigaword语料库中的来源全称
• dagw_domain：来源所属的领域名称

数据拆分

数据随机分为三个不同的部分：训练集、开发集和测试集。这些分割来自同一数据集，因此集合之间没有基本差异。有关不同分区的命名实体和领域的分布情况，请参考论文，或阅读此标记中提供的表面统计数据。

描述性统计

数据集组成

各个分区的命名实体注释组成如下表所示：

领域分布

各个分区的领域和来源分布情况如下表所示：

分区中的实体分布

训练集的领域和命名实体分布情况如下所示：

验证集的领域和命名实体分布情况如下所示：

测试集的领域和命名实体分布情况如下所示：

数据集创建

策划原理

该数据集旨在填补丹麦NLP领域的空白，目前尚缺乏具有以下两个特点的数据集：1）细粒度的命名实体识别标签；2）文本领域来源的高变异性。因此，DANSK数据集可用于训练任何希望创建能够在领域间泛化且预测精细的NER模型的人员。它还可以用于评估跨领域评估，以揭示任何潜在的领域偏差。尽管目前该数据集仅包含命名实体的注释，但未来版本的数据集将包含依赖解析、词性标注和可能的修订的NER注释。

数据来源

数据的收集、注释和规范化步骤是非常广泛的。由于此自述文件的描述过长，请在相关论文发表后参考该论文以获取完整说明。

注释

为了实现高细粒度度，DANSK数据集采用了OntoNotes 5.0的注释标准。该标准包括18种不同的命名实体类型。完整描述可见相关论文。

从奥胡斯大学的英语语言学硕士专业招募了10名学生。他们每周工作10小时，从2021年10月11日到2021年11月22日共计工作了6周。他们的注释任务包括词性标注、依赖解析和NER注释。命名实体注释和依赖解析是从头开始完成的，而词性标注则包括对NLP模型的银标准预测的更正。

注释者补偿

从奥胡斯大学的英语语言学硕士专业招募了10名学生。他们每周工作10小时，从2021年10月11日到2021年11月22日共计工作了6周。他们的注释任务包括词性标注、依赖解析和NER注释。注释者的补偿按照丹麦财政部和教师中央组织以及2010年CO10中央组织（CO10联合协议）的集体协议确定的学生标准费率计算，为每小时140丹麦克朗。命名实体注释和依赖解析是从头开始完成的，而词性标注则涉及对NLP模型预测的更正。

自动更正

在注释的手动更正过程中，发现了一些一致性错误。采用以下正则表达式模式对其进行了更正（也请参考OntoNotes注释指南的丹麦补充）：

用于匹配时间范围，例如[16:30 - 17:30]（TIME）：

\d{1,2}:\d\d ?[-|\||\/] ?\d
dag: \d{1,2}

用于匹配日期范围，例如[1938 - 1992]（DATE）：

\d{2,4} ?[-|–] ?\d{2,4}

用于匹配包含A/S og ApS的公司：

e.g. [Hansens Skomager A/S] (ORGANIZATION):
ApS
A\/S

用于匹配书面数字，例如"en"：

to | to$|^to| To | To$|^To| TO | TO$|^TO|
tre | tre$|^tre| Tre | Tre$|^Tre| TRE | TRE$|^TRE|
fire | fire$|^fire| Fire | Fire$|^Fire| FIRE | FIRE$|^FIRE|
fem | fem$|^fem| Fem | Fem$|^Fem| FEM | FEM$|^FEM|
seks | seks$|^seks| Seks | Seks$|^Seks| SEKS | SEKS$|
^SYV|
otte | otte$|^otte| Otte | Otte$|^Otte| OTTE | OTTE$|^OTTE|
ni | ni$|^ni| Ni | Ni$|^Ni| NI | NI$|^NI|
ti | ti$|^ti| Ti | Ti$|^Ti| TI | TI$|^TI

用于匹配已标注为LOCATION的"Himlen"或"Himmelen"，例如"HIMLEN"：

[Hh][iI][mM][lL][Ee][Nn]|[Hh][iI][mM][mM][Ee][lL][Ee][Nn]

用于匹配已标注为PERSON的"Gud"，例如"GUD"：

[Gg][Uu][Dd]

用于匹配错误标记为CARDINAL的电话号码，例如"20 40 44 30"：

\d{2} \d{2} \d{2} \d{2}
\+\d{2} \d{2} ?\d{2} ?\d{2} ?\d{2}$
\+\d{2} \d{2} ?\d{2} ?\d{2} ?\d{2}$
 \d{4} ?\d{4}$
^\d{4} ?\d{4}$

用于匹配已错误标记为ORGANIZATION的网站：

.dk$|.com$

用于匹配错误标记为ORGANIZATION的酒店和度假村：

.*[h|H]otel.*|.*[R|r]esort.*

用于匹配包含/或:的数字，已错误标记为CARDINAL：

\/
\/
 
-

用于匹配已错误标记为LAW的权利：

[C|c]opyright
[®|©]
[f|F]ortrydelsesret
[o|O]phavsret$
enneskeret

许可信息

创作共用署名-相同方式共享4.0国际许可协议

引用信息

该论文正在进行中。