Touché23-ValueEval 数据集

数据集概述

Touché23-ValueEval 数据集包含来自六个不同来源的9324个论证。论证来源用其论证编号的首字母表示：

• A： IBM-ArgQ-Rank-30kArgs
• C：中国问答网站 Zhihu
• D： Group Discussion Ideas (GD IDEAS)
• E： The Conference for the Future of Europe
• F：来自语言.ml实验室（Doratossadat、Omid、Mohammad、Ehsaneddin）的贡献[1]：来自"Nahj al-Balagha"[2]和"Ghurar al-Hikam wa Durar ak-Kalim"[3]的论证
• G： The New York Times

标注的标签基于发表在 Identifying the Human Values behind Arguments （Kiesel等，2022年）上的价值层级分类法。

[1] https://language.ml [2] https://en.wikipedia.org/wiki/Nahj_al-Balagha [3] https://en.wikipedia.org/wiki/Ghurar_al-Hikam_wa_Durar_al-Kalim

数据集用途

默认配置名为 main。

from datasets import load_dataset
dataset = load_dataset("webis/Touche23-ValueEval")
print(dataset['train'].info.description)
for argument in iter(dataset['train']):
    print(f"{argument['Argument ID']}: {argument['Stance']} '{argument['Conclusion']}': {argument['Premise']}")

支持的任务和排行榜

人类价值检测

语言

论证实例都是单语的；它只包括英语（主要是en-US）文档。一些数据集部分的元数据实例还以其原始语言和措辞来说明论证。

数据集结构

论证实例

每个论证实例具有以下属性：

• 论证编号：数据集中论证的唯一标识符
• 结论：论证的结论文本
• 立场：前提对结论的立场，可以是"支持"或"反对"
• 前提：论证的前提文本
• 标签：每个示例的标签是一个由1和0组成的数组，其中1表示论证涉及价值，0表示论证不涉及价值。顺序与原始文件中的顺序相同。

此外，标签还分为价值类别（value-categories）和人类价值（human values），即价值层级分类法的二级标签和一级标签。此区分也反映在配置名中：

• <config>：由于 Task 主要关注于价值类别的检测，因此每个基本配置（列在下面）都具有20个价值类别作为标签：

  labels = ["Self-direction: thought", "Self-direction: action", "Stimulation", "Hedonism", "Achievement", "Power: dominance", "Power: resources", "Face", "Security: personal", "Security: societal", "Tradition", "Conformity: rules", "Conformity: interpersonal", "Humility", "Benevolence: caring", "Benevolence: dependability", "Universalism: concern", "Universalism: nature", "Universalism: tolerance", "Universalism: objectivity"]
  

• <config>-level1：来自价值层级分类法的54个人类价值不用于2023年的任务（除了注释），但仍在此列出，因为某些人可能会发现它们有助于理解价值类别。它们的顺序也与原始文件中的顺序相同。有关更多详细信息，请参见价值类别配置。

此数据集中的配置名（替代<config>）为：

• main：8865个论证（来源：A，D，E）分为训练集、验证集和测试集（默认配置名）

  dataset_main_train = load_dataset("webis/Touche23-ValueEval", split="train")
  dataset_main_validation = load_dataset("webis/Touche23-ValueEval", split="validation")
  dataset_main_test = load_dataset("webis/Touche23-ValueEval", split="test")
  

• nahjalbalagha：279个论证（来源：F）单独构成测试集

  dataset_nahjalbalagha_test = load_dataset("webis/Touche23-ValueEval", name="nahjalbalagha", split="test")
  

• nyt：80个论证（来源：G）单独构成测试集

  dataset_nyt_test = load_dataset("webis/Touche23-ValueEval", name="nyt", split="test")
  

• zhihu：100个论证（来源：C）单独构成验证集

  dataset_zhihu_validation = load_dataset("webis/Touche23-ValueEval", name="zhihu", split="validation")
  

请注意，由于版权原因，尚不存在直接下载链接到纽约时报数据集中的论证。因此，访问任何nyt或nyt-level1配置将使用特别创建的 nyt-downloader program 在本地创建和访问论证。有关更多详细信息，请参阅程序的 README 。

元数据实例

下面列出了元数据的所有配置名。每个配置只有一个名为meta的拆分。

• ibm-meta：每行对应于 IBM-ArgQ-Rank-30kArgs 中的一个论证（以A开头的ID）
  • 论证编号：论证的唯一标识符
  • WA：根据加权平均评分函数的质量标签
  • MACE-P：根据MACE-P评分函数的质量标签
  • stance_WA：根据加权平均评分函数的立场标签
  • stance_WA_conf：根据加权平均评分函数的立场标签的置信度

  dataset_ibm_metadata = load_dataset("webis/Touche23-ValueEval", name="ibm-meta", split="meta")
  

• zhihu-meta：每行对应于来自中国问答网站 Zhihu 的一个论证（以C开头的ID）
  • 论证编号：论证的唯一标识符
  • 结论中文：原始中文结论陈述
  • 前提中文：原始中文前提陈述
  • URL：论证所取自的原始陈述的链接

  dataset_zhihu_metadata = load_dataset("webis/Touche23-ValueEval", name="zhihu-meta", split="meta")
  

• gdi-meta：每行对应于来源于 GD IDEAS 的一个论证（以D开头的ID）
  • 论证编号：论证的唯一标识符
  • URL：论证所取自的主题链接

  dataset_gdi_metadata = load_dataset("webis/Touche23-ValueEval", name="gdi-meta", split="meta")
  

• cofe-meta：每行对应于来源于 the Conference for the Future of Europe 的一个论证（以E开头的ID）
  • 论证编号：论证的唯一标识符
  • URL：论证所取自的评论链接

  dataset_cofe_metadata = load_dataset("webis/Touche23-ValueEval", name="cofe-meta", split="meta")
  

• nahjalbalagha-meta：每行对应于以F开头的一个论证（ID）的一个论证。此文件包含nahjalbalagha（或nahjalbalagha-level1）中的279个论证以及1047个尚未进行标注的附加论证。这些数据由语言.ml实验室贡献。
  • 论证编号：论证的唯一标识符
  • 结论法尔斯语：用法尔斯语表示的论证结论文本
  • 立场法尔斯语：前提对结论的立场，用法尔斯语表示
  • 前提法尔斯语：用法尔斯语表示的论证前提文本
  • 结论英语：用英语表示的论证结论文本（从法尔斯语翻译而来）
  • 立场英语：前提对结论的立场，可以是"支持"或"反对"
  • 前提英语：用英语表示的论证前提文本（从法尔斯语翻译而来）
  • 来源：论证的来源文本，可以是"Nahj al-Balagha"、"Ghurar al-Hikam wa Durar ak-Kalim"之一；它们的法尔斯语翻译被使用
  • 方法：前提是如何从来源中提取的，可以是"抽取"（直接获取）或"推断"；结论是推断得出的

  dataset_nahjalbalagha_metadata = load_dataset("webis/Touche23-ValueEval", name="nahjalbalagha-meta", split="meta")
  

• nyt-meta：每行对应于来源于 The New York Times 的一个论证（以G开头的ID）
  • 论证编号：论证的唯一标识符
  • URL：论证所取自的文章链接
  • Internet Archive时间戳：所使用的Internet Archive版本的文章的时间戳

  dataset_nyt_metadata = load_dataset("webis/Touche23-ValueEval", name="nyt-meta", split="meta")
  

• value-categories：包含一个JSON条目，其中包含有关价值层级分类法的二级和一级值的结构：

  {
    "<value category>": {
      "<level 1 value>": [
        "<exemplary effect a corresponding argument might target>",
        ...
      ], ...
    }, ...
  }
  

  。由于此配置只包含单个条目，因此可以将其用于以下示例：

  value_categories = load_dataset("webis/Touche23-ValueEval", name="value-categories", split="meta")[0]
  

其他信息

数据集策划者

[需要更多信息]

许可信息

Creative Commons Attribution 4.0 International (CC BY 4.0)

引用信息

@Article{mirzakhmedova:2023a,
  author    = {Nailia Mirzakhmedova and Johannes Kiesel and Milad Alshomary and Maximilian Heinrich and Nicolas Handke\
and Xiaoni Cai and Valentin Barriere and Doratossadat Dastgheib and Omid Ghahroodi and {Mohammad Ali} Sadraei\
and Ehsaneddin Asgari and Lea Kawaletz and Henning Wachsmuth and Benno Stein},
  doi       = {10.48550/arXiv.2301.13771},
  journal   = {CoRR},
  month     = jan,
  publisher = {arXiv},
  title     = {{The Touch{\'e}23-ValueEval Dataset for Identifying Human Values behind Arguments}},
  volume    = {abs/2301.13771},
  year      = 2023
}