数据集:

strombergnlp/rumoureval_2019

子任务:

fact-checking

语言:

en

计算机处理:

monolingual

大小:

10K<n<100K

语言创建人:

found

批注创建人:

crowdsourced

预印本库:

arxiv:1809.06683

许可:

cc-by-4.0
英文

数据集卡片 - "rumoureval_2019"

数据集简介

使用英语进行立场预测任务。目标是预测给定回复对于某个索赔/主题是支持、否定、质疑还是仅仅评论。在2019年作为SemEval任务进行。

支持的任务和排行榜

  • SemEval 2019任务1

语言

英语(不同来源),bcp47:en

数据集结构

数据实例

"train" 的示例如下所示。

{
    'id': '0', 
    'source_text': 'Appalled by the attack on Charlie Hebdo in Paris, 10 - probably journalists - now confirmed dead. An attack on free speech everywhere.', 
    'reply_text': '@m33ryg @tnewtondunn @mehdirhasan Of course it is free speech, that\'s the definition of "free speech" to openly make comments or draw a pic!', 
    'label': 3
}

数据字段

  • id:字符串特征。
  • source_text:表示索赔/主题的字符串。
  • reply_text:需要对其立场进行分类的字符串。
  • label:表示文本表达对目标的立场的类别标签。具有完整索引的标签集:
                            0: "support",
                            1: "deny",
                            2: "query",
                            3: "comment"
  • quoteID:内部引用ID的字符串。
  • party:描述引用发言者在发言时的党派隶属的字符串。
  • politician:命名发表引用的政治家的字符串。

数据集划分

name instances
train 7 005
dev 2 425
test 2 945

数据集创建

策划理由

源数据

初始数据收集和规范化谁是源语言的生产者?

Twitter用户

注解

注释过程

详细说明在 Analysing How People Orient to and Spread Rumours in Social Media by Looking at Conversational Threads

谁是注释者?

个人隐私信息

使用数据时的注意事项

数据集的社会影响

偏见讨论

其他已知限制

其他信息

数据集策划者

数据集由文中的作者策划。

许可信息

作者以Creative Commons署名许可(CC-BY 4.0)分发此数据。

引用信息

@inproceedings{gorrell-etal-2019-semeval,
    title = "{S}em{E}val-2019 Task 7: {R}umour{E}val, Determining Rumour Veracity and Support for Rumours",
    author = "Gorrell, Genevieve  and
      Kochkina, Elena  and
      Liakata, Maria  and
      Aker, Ahmet  and
      Zubiaga, Arkaitz  and
      Bontcheva, Kalina  and
      Derczynski, Leon",
    booktitle = "Proceedings of the 13th International Workshop on Semantic Evaluation",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/S19-2147",
    doi = "10.18653/v1/S19-2147",
    pages = "845--854",
}

贡献

作者添加的数据集 @leondz