"ZEST: ZEroShot Learning from Task descriptions" 数据集卡片

数据集概述

ZEST测试了NLP系统是否能够以零样本的方式执行未见过的任务，只需给出任务的自然语言描述。它是我们提出的"根据任务描述进行学习"框架的一个实例。这些任务包括分类、有类型实体抽取和关系抽取，并且每个任务都与20个不同的标注（输入、输出）示例配对。ZEST的结构使我们能够系统地测试模型是否能以五种不同的方式进行泛化。

支持的任务和排行榜

由于每个排行榜都有与论文中提出的四种泛化类型相对应的可接受性指标，因此为ZEST提供了一个排行榜。这些指标是作者提出的新颖的可接受性指标。

语言

数据集为英文。

数据集结构

数据示例

[需要更多信息]

数据字段

[需要更多信息]

数据拆分

[需要更多信息]

数据集创建

策划理由

为了评估模型在只有任务描述的情况下以零样本方式泛化到未见过的任务的能力。

源数据

[需要更多信息]

亚马逊众包工人。

注释

[需要更多信息]

亚马逊众包工人。

个人和敏感信息

[需要更多信息]

使用数据的考虑事项

数据的社会影响

数据集强调了模型仅通过任务的自然语言描述进行泛化到未见过的任务的能力。这种评估方法的长期目标是促进创建仅凭非技术用户的提示就能执行任意任务的模型。这可能扩大用户要求聊天机器人为其完成的任务的范围，但目前尚不清楚如何制定限制规定以防止用户提示系统执行不道德的任务。

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

附加信息

数据集策划人员

[需要更多信息]

许可信息

此数据集根据 CC BY 4.0 许可证获得许可。

引用信息

@inproceedings{weller-etal-2020-learning,
    title = "Learning from Task Descriptions",
    author = "Weller, Orion  and
      Lourie, Nicholas  and
      Gardner, Matt  and
      Peters, Matthew",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.emnlp-main.105",
    pages = "1361--1375",
    abstract = "Typically, machine learning systems solve new tasks by training on thousands of examples. In contrast, humans can solve new tasks by reading some instructions, with perhaps an example or two. To take a step toward closing this gap, we introduce a framework for developing NLP systems that solve new tasks after reading their descriptions, synthesizing prior work in this area. We instantiate this frame- work with a new English language dataset, ZEST, structured for task-oriented evaluation on unseen tasks. Formulating task descriptions as questions, we ensure each is general enough to apply to many possible inputs, thus comprehensively evaluating a model{'}s ability to solve each task. Moreover, the dataset{'}s structure tests specific types of systematic generalization. We find that the state-of-the-art T5 model achieves a score of 12% on ZEST, leaving a significant challenge for NLP researchers.",
}

贡献

感谢 @joeddav 添加此数据集。