AttrScore的数据集卡

• 仓库: https://github.com/OSU-NLP-Group/AttrScore
• 论文: [大型语言模型的自动归因评估] ( https://arxiv.org/pdf/2305.06311.pdf )
• 联系人: Xiang Yue

引用信息

@article{yue2023automatic,
  title={Automatic Evaluation of Attribution by Large Language Models},
  author={Yue, Xiang and Wang, Boshi and Zhang, Kai and Chen, Ziru and Su, Yu and Sun, Huan},
  journal={arXiv preprint arXiv:2305.06311},
  year={2023}
}

更新内容

在当前的0.2版本中，我们修复了AttrEval-GenSearch数据集中一些错误的注释标签。(提交记录： 4da294f )

数据集概述

最近大型语言模型（LLM）的发展重点之一是将外部参考文献纳入生成和支持其论点的过程中。然而，评估归因，即验证生成的陈述是否确实得到引用参考的全面支持，仍然是一个未解决的问题。

我们构建了这个数据集，其中包含用于归因评估的训练和测试数据。训练数据来源于相关任务，如问答、事实检查、自然语言推理和摘要。测试数据包括从QA数据集中模拟生成的一组数据和从生成式搜索引擎NewBing手动筛选的一组数据。

数据集结构

数据实例

{"query": "","answer": "Bastedo cared for all the animals that inhabit the earth.", "reference": "Alexandra Lendon Bastedo (1946年3月9日-2014年1月12日) 是一位英国女演员，以1968年的英国间谍/科幻冒险系列剧《The Champions》中秘密特工Sharron Macready一角而闻名。她被视为20世纪60年代和70年代的性感象征。Bastedo是一位素食主义者和动物福利倡导者。", "label": "Extrapolatory", "dataset": "anli"}

{"query": The persian gulf war began when iraq invaded what country? "answer": The Persian Gulf War began when Iraq invaded Kuwait."reference": 第一次海湾战争或伊拉克战争，或在"伊拉克战争"这一术语取而代之成为2003年伊拉克战争的标志之前。1990年8月2日，伊拉克军队占领科威特，受到联合国安全理事会成员国的国际谴责，并立即遭到经济制裁。美国总统乔治·赫伯特·沃克·布什与抵抗阿根廷入侵福克兰群岛的英国首相玛格丽特·撒切尔一同派遣美国军队进入沙特阿拉伯，并敦促其他国家派遣自己的军队到场。大批国家加入了这一联盟，形成了","label": "Attributable", "dataset": "NaturalQuestions"}

数据字段

• "query": 查询（可能为空）
• "answer": 对查询的回答
• "reference": 文档或段落
• "label": 参考是否能够支持查询的回答（"可归因"，"推测"，"矛盾"）
• "dataset": 数据实例的原始数据集