"social_bias_frames" 数据集卡片

数据集概要

警告：本文件和数据集包含可能引起冒犯或不安的内容。

社交偏见框架（Social Bias Frames）是一种以语言中暗示的偏见和冒犯性为基础的新表达方式。例如，这些框架旨在概括出“女性（候选人）资质较低”这一暗含在语句“我们不应该降低标准来雇佣更多女性”的暗示。社交偏见推理语料库（Social Bias Inference Corpus, SBIC）支持对社交媒体帖子的大规模学习和评估，包含超过15万个有关几千个人口统计学群体的34,000个暗示的结构化注释。

支持的任务和排行榜

此数据集同时支持分类和生成任务。Sap等人使用SBIC开发了多个模型。他们报告了测试集中预测帖子是否冒犯的F1分数78.8，预测帖子意图是否冒犯的F1分数78.6，预测帖子是否淫秽的F1分数80.7，以及预测帖子是否针对特定群体的F1分数69.9。

Sap等人的另一个模型在生成任务上表现更好。他们报告了生成目标群体描述的BLUE分数77.9，Rouge-L分数68.7，WMD分数0.74，以及生成所暗示冒犯性陈述描述的BLUE分数52.6，Rouge-L分数44.9，WMD分数2.79。更多细节请参阅论文。

语言

SBIC中的语言主要是面向白人的英语（78%，使用词汇方言检测器， Blodgett et al., 2016 ）。策展人发现SBIC中不到10%的帖子被检测到具有AAE方言类别。BCP-47语言标签可能是en-US。

数据集结构

数据实例

每个实例包含一篇帖子，该帖子可能包含冒犯性言论，并包含有关冒犯暗示性质以及注释者的人口统计信息和帖子来源的注释信息。请参阅 Social Bias Frames dataset viewer 了解更多示例。

• 下载的数据集文件大小：6.32 MB
• 生成的数据集大小：44.47 MB
• 总磁盘使用量：50.80 MB

'validation'的示例如下。

{
    "HITId": "3Z8UJEJOCZ74QHXOTFP0JOOGD7039J",
    "WorkerId": "7162172225567546910",
    "annotatorAge": "27.0",
    "annotatorGender": "woman",
    "annotatorMinority": "women",
    "annotatorPolitics": "liberal",
    "annotatorRace": "white",
    "dataSource": "t/davidson",
    "intentYN": "1.0",
    "offensiveYN": "1.0",
    "post": "Every half-breed cop in America is trying to rape white women.",
    "sexPhrase": "rape white women",
    "sexReason": "rape",
    "sexYN": "1.0",
    "speakerMinorityYN": "0.0",
    "targetCategory": "race",
    "targetMinority": "mixed folks",
    "targetStereotype": "mixed folks are rapists.",
    "whoTarget": "1.0"
}

数据字段

所有拆分中的数据字段都是相同的。

• whoTarget ：字符串，如果目标是群体则为'0.0'，如果目标是个人则为'1.0'，如果帖子没有冒犯性则为空白
• intentYN ：字符串，表示陈述背后的意图是否是冒犯性的。这是一个分类变量，有四种可能的答案：'1.0'表示是，'0.66'表示可能是，'0.33'表示可能不是，'0.0'表示否
• sexYN ：字符串，指示帖子是否包含性或淫秽内容。这是一个分类变量，有三种可能的答案：'1.0'表示是，'0.5'表示可能是，'0.0'表示否
• sexReason ：字符串，包含如果有的话什么是性的自由文本解释，否则为空白
• offensiveYN ：字符串，指示帖子是否可能冒犯任何人。这是一个分类变量，有三种可能的答案：'1.0'表示是，'0.5'表示可能是，'0.0'表示否
• annotatorGender ：字符串，指示MTurk工作者的性别
• annotatorMinority ：字符串，指示MTurk工作者是否属于少数群体
• sexPhrase ：字符串，指示帖子哪个部分涉及性，否则为空白
• speakerMinorityYN ：字符串，指示发言者是否是被针对的少数群体的一员。这是一个分类变量，有三种可能的答案：'1.0'表示是，'0.5'表示可能是，'0.0'表示否
• WorkerId ：MTurk workerId的哈希字符串
• HITId ：唯一标识每个帖子的字符串ID
• annotatorPolitics ：字符串，指示MTurk工作者的政治倾向
• annotatorRace ：字符串，指示MTurk工作者的种族
• annotatorAge ：字符串，指示MTurk工作者的年龄
• post ：字符串，包含被注释的帖子的文本
• targetMinority ：字符串，指示被针对的人口统计学群体
• targetCategory ：字符串，指示被针对人群的高级类别
• targetStereotype ：字符串，包含暗示的陈述
• dataSource ：字符串，指示帖子的来源（t/...表示Twitter，r/...表示subreddit）

数据拆分

为确保在多个拆分中没有帖子出现多次，策展人将训练实例定义为帖子及其三组注释。然后将数据集拆分为训练集、验证集和测试集（75％/12.5％/12.5％）。

数据集创建

策展原理

该数据集的主要目标是涵盖文本中暗示的各种社交偏见，无论是微妙的还是明显的，使偏见代表人们实际经历的现实歧视 RWJF 2017 。策展人还包含了一些无害的陈述，以平衡偏见、冒犯或有害内容。

源数据

策展人包括了以下来源的在线帖子，时间跨度为2014年至2019年：

• r/darkJokes，r/meanJokes，r/offensiveJokes
• Reddit微攻击（ Breitfeller et al., 2019 ）
• 有毒语言检测Twitter语料库（ Waseem & Hovy, 2016 ； Davidson et al., 2017 ； Founa et al., 2018 ）
• 从仇恨网站抓取的数据（Gab，Stormfront，r/incels，r/mensrights）

策展人希望帖子尽可能自成一体，因此对其进行了一些过滤，以防止帖子过分依赖上下文。对于Twitter数据，他们过滤掉@-回复、转发和链接，并对帖子进行子采样，以在AAE和冒犯性之间减少相关性（避免种族偏见； Sap et al., 2019 ）。对于Reddit、Gab和Stormfront，他们只选择了一句话长的帖子，不包含链接，并且字数在10到80个词之间。此外，对于Reddit，他们自动删除了针对自动审查的帖子。

由于该语料库的性质，无法知道发言者是谁。但是，Reddit、Gab和Stormfront帖子的发言者很可能是白人男性（请参阅 Gender by subreddit , Gab users , Stormfront description ）。

注释

对于每个帖子，亚马逊机械土耳其工作者会指示帖子是否具有冒犯性、陈述意图是否是冒犯性的，以及帖子是否包含淫秽或性内容。只有在注释者指示存在潜在冒犯性时，他们才回答群体暗示问题。如果帖子针对或提及一个群体或人口统计学群体，工作者会选择或编写哪些群体；对于每个选定的群体，他们再写两到四个刻板印象。最后，工作者被问及他们是否认为发言者是被帖子提到的少数群体的一员。策展人每个帖子收集了三个注释，并将工作者群体限制在美国和加拿大。SBIC中的注释显示82.4％的配对一致性和平均Krippendorf'sα值为0.45。

注释者是年龄为36±10岁的亚马逊机械土耳其工作者。注释者中有55％为女性，42％为男性，＜1％为非二元，并且82％为白人，4％为亚洲人，4％为西班牙裔，4％为黑人。他们的第一语言和专业背景的信息未被收集。

个人和敏感信息

数据中不包括用户名，但包括帖子的来源网站，因此用户可能会被追踪。

使用数据的注意事项

数据的社会影响

策展人认识到研究社交偏见框架必然需要面对可能冒犯或令人不安的在线内容，但他们认为有意避开这些问题并不能解决问题。通过通过社交偏见框架审查社交媒体内容，可以分析潜在有害在线内容的自动标记或AI辅助写作界面，并为用户或管理员提供详细的解释以供考虑和验证。此外，通过对大型语料库的集体分析，还可以为教育人们有关通过鼓励对被针对群体的移情来减少无意识偏见的语言提供见解。

偏见讨论

因为这是一份社交偏见的语料库，所以很多帖子中都含有针对以下群体的暗示性或明显性偏见（按照普遍性递减的顺序）：

• 性别/性取向
• 种族/民族
• 宗教/文化
• 社会/政治
• 残疾身体/年龄
• 受害者

策展人警告称，基于该数据集训练的技术可能会产生审查和基于方言的种族偏见等副作用。

其他已知限制

因为策展人发现该数据集主要用白人为中心的英语书写，他们在部署基于SBIC的技术之前，建议研究人员考虑到可能存在方言或基于身份的偏见的潜力（ Davidson et al.,2019 ; Sap et al., 2019a ）。

附加信息

数据集策展人

该数据集由华盛顿大学保罗·G·艾伦计算机科学与工程学院的Maarten Sap、保罗·G·艾伦计算机科学与工程学院和Allen人工智能研究所的Saadia Gabriel、Lianhui Qin、Noah A Smith、Yejin Choi，以及斯坦福大学语言学和计算机科学系的Dan Jurafsky共同开发。

许可信息

SBIC采用 Creative Commons 4.0 License 许可。

引文信息

@inproceedings{sap-etal-2020-social,
    title = "Social Bias Frames: Reasoning about Social and Power Implications of Language",
    author = "Sap, Maarten  and
      Gabriel, Saadia  and
      Qin, Lianhui  and
      Jurafsky, Dan  and
      Smith, Noah A.  and
      Choi, Yejin",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.486",
    doi = "10.18653/v1/2020.acl-main.486",
    pages = "5477--5490",
    abstract = "Warning: this paper contains content that may be offensive or upsetting. Language has the power to reinforce stereotypes and project social biases onto others. At the core of the challenge is that it is rarely what is stated explicitly, but rather the implied meanings, that frame people{'}s judgments about others. For example, given a statement that {``}we shouldn{'}t lower our standards to hire more women,{''} most listeners will infer the implicature intended by the speaker - that {``}women (candidates) are less qualified.{''} Most semantic formalisms, to date, do not capture such pragmatic implications in which people express social biases and power differentials in language. We introduce Social Bias Frames, a new conceptual formalism that aims to model the pragmatic frames in which people project social biases and stereotypes onto others. In addition, we introduce the Social Bias Inference Corpus to support large-scale modelling and evaluation with 150k structured annotations of social media posts, covering over 34k implications about a thousand demographic groups. We then establish baseline approaches that learn to recover Social Bias Frames from unstructured text. We find that while state-of-the-art neural models are effective at high-level categorization of whether a given statement projects unwanted social bias (80{\%} F1), they are not effective at spelling out more detailed explanations in terms of Social Bias Frames. Our study motivates future work that combines structured pragmatic inference with commonsense reasoning on social implications.",
}

贡献者

感谢 @thomwolf 、 @lewtun 、 @otakumesi 、 @mariamabarham 、 @lhoestq 添加了该数据集。