SwDA 数据集卡片

数据集摘要

Switchboard 对话行为语料库（SwDA）扩展了 Switchboard-1 电话语音语料库第二版，提供了句子/话语级别的对话行为标签。这些标签总结了与该话语相关的句法、语义和语用信息。SwDA 项目是在 1990 年代末期由 UC Boulder 进行的。SwDA 并不与 Penn Treebank 3 的 Switchboard 解析相关联，将这两个资源对齐并不简单。此外，SwDA 并不包含 Switchboard 对话和参与者的元数据表。

支持的任务和排行榜

语言

支持的语言是英语。

数据集结构

句子以 SWBD-DAMSL 作为 DA 进行标记。

数据实例

数据集中的一个示例为：

{"act_tag": 115, "caller": "A", "conversation_no": 4325, "damsl_act_tag": 26, "from_caller": 1632, "from_caller_birth_year": 1962, "from_caller_dialect_area": "WESTERN", "from_caller_education": 2, "from_caller_sex": "FEMALE", "length": 5, "pos": "Okay/UH ./.", "prompt": "FIND OUT WHAT CRITERIA THE OTHER CALLER WOULD USE IN SELECTING CHILD CARE SERVICES FOR A PRESCHOOLER. IS IT EASY OR DIFFICULT TO FIND SUCH CARE?", "ptb_basename": "4/sw4325", "ptb_treenumbers": "1", "subutterance_index": 1, "swda_filename": "sw00utt/sw_0001_4325.utt", "talk_day": "03/23/1992", "text": "Okay. /", "to_caller": 1519, "to_caller_birth_year": 1971, "to_caller_dialect_area": "SOUTH MIDLAND", "to_caller_education": 1, "to_caller_sex": "FEMALE", "topic_description": "CHILD CARE", "transcript_index": 0, "trees": "(INTJ (UH Okay) (. .) (-DFL- E_S))", "utterance_index": 1}

数据字段

• swda_filename：(str) 文件名：目录/基本名称。
• ptb_basename：(str) Treebank 文件名：添加 ".pos" 表示 POS，".mrg" 表示树。
• conversation_no：(int) 对话标识，用于检索元数据数据库。
• transcript_index：(int) 在转录中的行号（仅计算 utt 行）。
• act_tag：(str 的列表) 对话行为标签（文件中通过 ||| 分隔）。详见对话行为注释获取更多细节。
• damsl_act_tag：(str 的列表) 217 个变化标签的对话行为标签。
• caller：(str) A、B、@A、@B、@@A、@@B。
• utterance_index：(int) 话语的编码索引（如 A.49、B.27）。
• subutterance_index：(int) 话语可以跨行分段，此字段表示内部位置。
• text：(str) 话语的文本。
• pos：(str) 话语的 POS 标记版本，来自 PtbBasename+.pos。
• trees：(str) 包含此话语的树（在文件中通过 ||| 分隔）。使用 [Tree.fromstring(t) for t in row_value.split("|||")] 转换为（nltk.tree.Tree 的列表）。
• ptb_treenumbers：(int 的列表) PtbBasename+.mrg 中的树编号。
• talk_day：(str) 对话日期。
• length：(int) 对话时长（秒）。
• topic_description：(str) 正在讨论的话题的简短描述。
• prompt：(str) 长描述/查询/指令。
• from_caller：(int) 发送方（A）拨号方的数字标识。
• from_caller_sex：(str) MALE、FEMALE。
• from_caller_education：(int) 参与者教育水平，0、1、2、3、9。
• from_caller_birth_year：(int) 发送方（A）拨号方的出生年份（YYYY）。
• from_caller_dialect_area：(str) MIXED、NEW ENGLAND、NORTH MIDLAND、NORTHERN、NYC、SOUTH MIDLAND、SOUTHERN、UNK、WESTERN。
• to_caller：(int) 接收方（B）拨号方的数字标识。
• to_caller_sex：(str) MALE、FEMALE。
• to_caller_education：(int) 参与者教育水平，0、1、2、3、9。
• to_caller_birth_year：(int) 接收方（B）拨号方的出生年份（YYYY）。
• to_caller_dialect_area：(str) MIXED、NEW ENGLAND、NORTH MIDLAND、NORTHERN、NYC、SOUTH MIDLAND、SOUTHERN、UNK、WESTERN。

对话行为注释

数据拆分

我使用了 Probabilistic-RNN-DA-Classifier 仓库中的信息：与 Stolcke et al. (2000) 使用的相同的训练和测试拆分。开发集是训练集的子集，用于加快开发和测试过程，用于 Probabilistic Word Association for Dialogue Act Classification with Recurrent Neural Networks 论文。

数据集创建

策划理由

[需要更多信息]

源数据

SwDA 与 Penn Treebank 3 的 Switchboard 解析并无直接关联，对齐这两个资源并不简单，详见 Calhoun et al. 2010，§2.4。此外，SwDA 未包含 Switchboard 对话和参与者的元数据表。

[需要更多信息]

注释

[需要更多信息]

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

其他信息

数据集策划者

Christopher Potts ，斯坦福大学语言学系。

许可信息

本作品根据 Creative Commons Attribution-NonCommercial-ShareAlike 3.0 Unported License. 许可。

引用信息

@techreport{Jurafsky-etal:1997,
    Address = {Boulder, CO},
    Author = {Jurafsky, Daniel and Shriberg, Elizabeth and Biasca, Debra},
    Institution = {University of Colorado, Boulder Institute of Cognitive Science},
    Number = {97-02},
    Title = {Switchboard {SWBD}-{DAMSL} Shallow-Discourse-Function Annotation Coders Manual, Draft 13},
    Year = {1997}}

@article{Shriberg-etal:1998,
    Author = {Shriberg, Elizabeth and Bates, Rebecca and Taylor, Paul and Stolcke, Andreas and Jurafsky, Daniel and Ries, Klaus and Coccaro, Noah and Martin, Rachel and Meteer, Marie and Van Ess-Dykema, Carol},
    Journal = {Language and Speech},
    Number = {3--4},
    Pages = {439--487},
    Title = {Can Prosody Aid the Automatic Classification of Dialog Acts in Conversational Speech?},
    Volume = {41},
    Year = {1998}}

@article{Stolcke-etal:2000,
    Author = {Stolcke, Andreas and Ries, Klaus and Coccaro, Noah and Shriberg, Elizabeth and Bates, Rebecca and Jurafsky, Daniel and Taylor, Paul and Martin, Rachel and Meteer, Marie and Van Ess-Dykema, Carol},
    Journal = {Computational Linguistics},
    Number = {3},
    Pages = {339--371},
    Title = {Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech},
    Volume = {26},
    Year = {2000}}

贡献

感谢 @gmihaila 添加了该数据集。