数据集:
osunlp/AttrScore
@article{yue2023automatic, title={Automatic Evaluation of Attribution by Large Language Models}, author={Yue, Xiang and Wang, Boshi and Zhang, Kai and Chen, Ziru and Su, Yu and Sun, Huan}, journal={arXiv preprint arXiv:2305.06311}, year={2023} }
在当前的0.2版本中,我们修复了AttrEval-GenSearch数据集中一些错误的注释标签。(提交记录: 4da294f )
最近大型语言模型(LLM)的发展重点之一是将外部参考文献纳入生成和支持其论点的过程中。然而,评估归因,即验证生成的陈述是否确实得到引用参考的全面支持,仍然是一个未解决的问题。
我们构建了这个数据集,其中包含用于归因评估的训练和测试数据。训练数据来源于相关任务,如问答、事实检查、自然语言推理和摘要。测试数据包括从QA数据集中模拟生成的一组数据和从生成式搜索引擎NewBing手动筛选的一组数据。
{"query": "","answer": "Bastedo cared for all the animals that inhabit the earth.", "reference": "Alexandra Lendon Bastedo (1946年3月9日-2014年1月12日) 是一位英国女演员,以1968年的英国间谍/科幻冒险系列剧《The Champions》中秘密特工Sharron Macready一角而闻名。她被视为20世纪60年代和70年代的性感象征。Bastedo是一位素食主义者和动物福利倡导者。", "label": "Extrapolatory", "dataset": "anli"}
{"query": The persian gulf war began when iraq invaded what country? "answer": The Persian Gulf War began when Iraq invaded Kuwait."reference": 第一次海湾战争或伊拉克战争,或在"伊拉克战争"这一术语取而代之成为2003年伊拉克战争的标志之前。1990年8月2日,伊拉克军队占领科威特,受到联合国安全理事会成员国的国际谴责,并立即遭到经济制裁。美国总统乔治·赫伯特·沃克·布什与抵抗阿根廷入侵福克兰群岛的英国首相玛格丽特·撒切尔一同派遣美国军队进入沙特阿拉伯,并敦促其他国家派遣自己的军队到场。大批国家加入了这一联盟,形成了","label": "Attributable", "dataset": "NaturalQuestions"}