WikiBio GPT-3幻觉数据集数据卡片

• GitHub仓库: https://github.com/potsawee/selfcheckgpt
• 论文: SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models

数据集摘要

• 我们使用GPT-3 (text-davinci-003)生成类似维基百科的段落，使用的提示为：这是关于{concept}的维基百科段落，其中concept代表WikiBio数据集中的一个个体。
• 我们将生成的段落分成句子，并将每个句子注释为三个选项之一：(1) 准确的 (2) 稍有不准确的 (3) 明显不准确的。
• 我们在论文中报告了数据统计、注释过程和标注者之间的一致性。

更新

• v3 (2023年5月5日): 总共对238个测试ID进行了注释。
• v2 (2023年4月6日): 总共对142个测试ID进行了注释，该数据集中现在包含了GPT-3生成的样本段落。
• v1 (2023年3月15日): 总共对65个测试ID进行了注释。这里是v1版本文档中的wiki_bio_test_idx: [Link]

数据集结构

每个实例包括:

• gpt3_text: GPT-3生成的段落
• wiki_bio_text: 实际的维基百科段落 (第一段)
• gpt3_sentences: 使用spacy将gpt3_text拆分为句子
• annotation: 每个句子的人工注释
• wiki_bio_test_idx: 原始wikibio数据集（测试集）中的概念/个体的ID
• gpt3_text_samples: 20个采样段落的列表（do_sample = True & temperature = 1.0）

引用信息

@misc{manakul2023selfcheckgpt,
      title={SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models}, 
      author={Potsawee Manakul and Adian Liusie and Mark J. F. Gales},
      year={2023},
      eprint={2303.08896},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}