bAbi QA数据集卡

数据集摘要

bAbi QA（20）问题回答任务是一组通过问题回答评估阅读理解的代理任务。我们的任务通过多种方式衡量理解能力：系统是否能够通过链式事实、简单归纳、演绎等方式回答问题。这些任务旨在成为与人类交谈的任何系统的先决条件。目的是将这些任务分类为技能集，以便研究人员可以识别（然后纠正）其系统的缺陷。

支持的任务和排行榜

该数据集支持一组基于故事的问题回答任务，共20个不同类型的英语和印地语的任务。

这些“类型”是：

• < p > en
  • 英语任务，可供人类阅读。

• hn

  • 印地语任务，可供人类阅读。

• shuffled

  • 相同的任务，字母被打乱，无法被人类阅读，对于现有的解析器和标签器不能直接使用额外资源，这种情况下学习器更多地依赖于给定的训练数据。这模拟了学习者首次接触一种语言并且不得不从头开始学习的情况。

• en-10k ，shuffled-10k 和 hn-10k

  • 这三种格式的相同任务，但训练示例数量为10,000个，而不是1,000个。

• en-valid 和 en-valid-10k

  • 与 en 和 en10k 相同，唯一区别是训练集已方便地划分为训练部分和验证部分（90%和10%划分）。

要获取特定的数据集，请使用 下面的代码：load_dataset（'babi_qa'，type=f'{type}'，task_no=f'{task_no}'）其中type是其中一个类型，task_no是任务号。例如，load_dataset（'babi_qa'，type='en'，task_no='qa1'）

语言

数据集结构

数据实例

en-qa1的训练集示例：

{'story': {'answer': ['', '', 'bathroom', '', '', 'hallway', '', '', 'hallway', '', '', 'office', '', '', 'bathroom'], 'id': ['1', '2', '3', '4', '5', '6', '7', '8', '9', '10', '11', '12', '13', '14', '15'], 'supporting_ids': [[], [], ['1'], [], [], ['4'], [], [], ['4'], [], [], ['11'], [], [], ['8']], 'text': ['Mary moved to the bathroom.', 'John went to the hallway.', 'Where is Mary?', 'Daniel went back to the hallway.', 'Sandra moved to the garden.', 'Where is Daniel?', 'John moved to the office.', 'Sandra journeyed to the bathroom.', 'Where is Daniel?', 'Mary moved to the hallway.', 'Daniel travelled to the office.', 'Where is Daniel?', 'John went back to the garden.', 'John moved to the bedroom.', 'Where is Sandra?'], 'type': [0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 1]}}

数据字段

• story：包含以下内容的字典特征：
  • id：字符串特征，表示示例中的行号。
  • type：分类标签，可能的值包括context、question，表示文本是上下文还是问题。
  • text：字符串特征，表示文本内容，无论是问题还是上下文。
  • supporting_ids：包含支持答案的示例中的行号的字符串特征的列表。
  • answer：包含问题的答案的字符串特征，如果type不是question，则为空字符串。

数据拆分

拆分和相应的大小如下:

数据集创建

策划理由

[需要更多信息]

源数据

可用于生成任务的代码在 github 上

[需要更多信息]

注释

[需要更多信息]

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据集的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

附加信息

数据集策展人

Jesse Dodge、Andreea Gane、Xiang Zhang、Antoine Bordes、Sumit Chopra、Alexander Miller、Arthur Szlam和Jason Weston在Facebook研究院工作。

许可信息

Creative Commons Attribution 3.0 License

引用信息

@misc{dodge2016evaluating,
      title={Evaluating Prerequisite Qualities for Learning End-to-End Dialog Systems}, 
      author={Jesse Dodge and Andreea Gane and Xiang Zhang and Antoine Bordes and Sumit Chopra and Alexander Miller and Arthur Szlam and Jason Weston},
      year={2016},
      eprint={1511.06931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

贡献

感谢 @gchhablani 添加了这个数据集。