数据集:
mwsc
任务:
多项选择语言:
en计算机处理:
monolingual大小:
n<1K语言创建人:
expert-generated批注创建人:
expert-generated源数据集:
extended|winograd_wsc预印本库:
arxiv:1806.08730许可:
cc-by-4.0这里的例子是从Winograd Schema Challenge修改而来,以确保答案都是上下文中的单词。这个Modified Winograd Schema Challenge(MWSC)确保分数不会因措辞的怪异而被夸大或被贬低。
一个例子如下所示:
{ "sentence": "The city councilmen refused the demonstrators a permit because they feared violence.", "question": "Who feared violence?", "options": [ "councilmen", "demonstrators" ], "answer": "councilmen" }
数据字段在所有拆分中都是相同的。
defaultname | train | validation | test |
---|---|---|---|
default | 80 | 82 | 100 |
我们运行decaNLP的代码采用了BSD-3-Clause开源许可。
我们选择将decaNLP限制在免费且公开可用的研究数据集上,但如果您从此用例偏离,应该检查它们的个别条款。
来自 Winograd Schema Challenge :
这两个版本的数据集都在 Creative Commons Attribution 4.0 International License 下获得了许可。
如果您在工作中使用了此数据集,请引用:
@article{McCann2018decaNLP, title={The Natural Language Decathlon: Multitask Learning as Question Answering}, author={Bryan McCann and Nitish Shirish Keskar and Caiming Xiong and Richard Socher}, journal={arXiv preprint arXiv:1806.08730}, year={2018} }
感谢 @thomwolf , @lewtun , @ghomasHudson 和 @lhoestq 添加了这个数据集。