数据集:

MicPie/unpredictable_cluster17

任务:

多项选择

问答

零样本分类

子任务:

multiple-choice-qa extractive-qa open-domain-qa

语言:

计算机处理:

monolingual

大小:

100K<n<1M

语言创建人:

found

批注创建人:

no-annotation

预印本库:

arxiv:2208.01009

许可:

apache-2.0

数据集介绍文件清单

英文

"UnpredicTable-cluster17"的数据集卡片 - 来自表格的Few-shot任务数据集

数据集摘要

UnpredicTable数据集包含以Few-shot任务格式化的网络表格，用于调整语言模型以提高其Few-shot性能。

有几个数据集版本可用：

UnpredicTable-full ：从包含5000万个表格的初始WTC语料库开始，我们应用了将表格转换为任务的流程，生成了我们的结果数据集 UnpredicTable-full ，其中包含了来自23744个唯一网站的413299个任务。
UnpredicTable-unique ：与 UnpredicTable-full 相同，但经过筛选，每个网站最多有一个任务。 UnpredicTable-unique 包含了来自23744个网站的23744个任务。
UnpredicTable-5k ：此数据集包含来自完整数据集的5000个随机表格。
基于人工质量评分的UnpredicTable数据子集（请参阅我们的论文，以了解评分的详细信息）：
基于起源网站的UnpredicTable数据子集：
基于聚类的UnpredicTable数据子集（有关聚类详细信息，请参阅我们的论文）：

支持的任务和排行榜

由于表格来自网络，任务和主题的分布非常广泛。我们的数据集结构非常宽，即我们有数千个任务，而每个任务只有少数示例，与当前大多数NLP数据集非常不同，后者非常深，即有数十个任务和许多示例。这意味着我们的数据集涵盖了各种潜在任务，例如多项选择，问题回答，表格问题回答，文本分类等。

此数据集的目的是通过在我们的数据集上进行调整/预训练来提高Few-shot性能。

语言

英文

数据集结构

数据实例

每个任务表示为一个jsonline文件，由几个Few-shot示例组成。每个示例都是一个包含字段'task'（标识任务）的字典，后跟'input'、'options'和'output'字段。'input'字段包含表格中同一行的多个列元素，而'output'字段则表示相同行的目标列。每个任务包含多个这样的示例，可以将其串联为Few-shot任务。在多项选择分类的情况下，'options'字段包含模型需要选择的可能类别。

还有其他元数据字段，例如'pageTitle'、'title'、'outputColName'、'url'、'wdcFile'。

数据字段

'task'：任务标识符

'input'：表格中特定行的列元素。

'options'：对于多项选择分类，提供选择的选项。

'output'：与输入相同行的目标列元素。

'pageTitle'：包含表格的页面标题。

'outputColName'：输出列名称

'url'：包含表格的网站的URL

'wdcFile'：WDC Web Table Corpus文件

数据拆分

UnpredicTable数据集不附带其他数据拆分。

数据集创建

策划原理

少样本训练已被证明可以改善语言模型在新任务上的少样本学习（FSL）性能，但不清楚哪些训练任务能够有效地适应下游任务。少样本学习数据集通常需要进行昂贵的人工策划，限制了可用于研究的训练任务的规模和多样性。作为少样本数据的替代来源，我们自动从各种互联网表格中提取了413299个任务。我们将其提供为研究资源，以调查训练数据与少样本学习之间的关系。

源数据

初始数据收集和规范化

我们使用WDC Web Table Corpus 2015（WTC）的英语关系子集中的互联网表格。WTC数据集的表格来自于2015年7月的Common Crawl网络语料库（ http://webdatacommons.org/webtables/2015/EnglishStatistics.html ）。“该数据集包含了来自323160个Web域的50820165个表格。” 然后我们将这些表格转换成少样本学习任务。有关数据收集和转换管道的更多详细信息，请参见我们的论文。

谁是源语言的生产者？

数据集从 WDC Web Table Corpora 提取。

注释

注释过程

仅对 UnpredicTable-rated-low 、 UnpredicTable-rated-medium 和 UnpredicTable-rated-high 数据子集进行了手动注释，以评估任务质量。详细的注释说明可以在我们的论文中找到。

注释者是谁？

注释由实验室助手进行。

个人和敏感信息

数据是从 WDC Web Table Corpora 提取的，而 WDC Web Table Corpora 又从 Common Crawl 提取表格。我们未对数据进行任何方式的筛选。因此，我们的数据集中可能包含任何用户身份或其他敏感信息（例如，显示种族或民族起源、性取向、宗教信仰、政治观点或工会会员资格、位置；财务或健康数据；生物特征或遗传数据；政府身份证明形式，如社会安全号码；犯罪记录等）。

使用数据的注意事项

数据的社会影响

此数据集旨在作为研究资源，用于研究训练数据和少样本学习之间的关系。因此，它包含高质量和低质量的数据，以及可能不准确或不适当的内容。如果不能仔细调查，不应用于训练将用于决策关键或面向用户的情况下部署的模型。

偏见讨论

由于我们的数据集包含从网络中提取的表格，因此也会包含很多有害的、种族主义的、性别歧视的和其他有害的偏见和文本。我们没有对数据集中存在的偏见进行任何分析。我们也没有明确地筛选内容。这意味着使用我们的数据集训练的模型可能反映出我们的数据集中存在的有害偏见和有害文本。

其他已知限制

没有其他已知限制。

附加信息

数据集策划者

Jun Shern Chan，Michael Pieler，Jonathan Jao，Jérémy Scheurer，Ethan Perez

许可信息

Apache 2.0

引用信息

@misc{chan2022few,
  author = {Chan, Jun Shern and Pieler, Michael and Jao, Jonathan and Scheurer, Jérémy and Perez, Ethan},
  title = {Few-shot Adaptation Works with UnpredicTable Data},
  publisher={arXiv},
  year = {2022},
  url = {https://arxiv.org/abs/2208.01009}
}

作者:

MicPie

数据集大小:

1.02 MB