BEIR基准数据集的数据卡

数据集摘要

BEIR是一个多样化的基准数据集，由18个代表9个信息检索任务的不同数据集构建而成：

• 事实核查： FEVER ， Climate-FEVER ， SciFact
• 问答： NQ ， HotpotQA ， FiQA-2018
• 生物医学信息检索： TREC-COVID ， BioASQ ， NFCorpus
• 新闻检索： TREC-NEWS ， Robust04
• 论证检索： Touche-2020 ， ArguAna
• 重复问题检索： Quora ， CqaDupstack
• 引文预测： SCIDOCS
• 推文检索： Signal-1M
• 实体检索： DBPedia

所有这些数据集都经过预处理，可以用于您的实验。

支持的任务和排行榜

该数据集支持一个排行榜，根据任务特定的指标（如F1或EM）评估模型，以及它们检索来自维基百科的支持信息的能力。

目前性能最佳的模型可以在 here 中找到。

语言

所有任务都使用英语（en）。

数据集结构

所有BEIR数据集都必须包含语料库、查询和qrels（相关性判断文件）。它们必须采用以下格式：

• corpus文件：一个 .jsonl 文件（jsonlines），包含一个字典列表，每个字典里有三个字段 _id（唯一的文档标识符）、title（文档标题，可选）和text（文档段落或篇章的内容）。例如： {"_id": "doc1", "title": "阿尔伯特·爱因斯坦", "text": "阿尔伯特·爱因斯坦是德国出生的..."}
• queries文件：一个 .jsonl 文件（jsonlines），包含一个字典列表，每个字典里有两个字段 _id（唯一的查询标识符）和text（查询文本）。例如： {"_id": "q1", "text": "谁发现了质能方程？"}
• qrels文件：一个 .tsv 文件（以制表符分隔），包含三列，即 query-id、corpus-id 和 score，按照这个顺序。第一行为头文件。例如： q1 doc1 1

数据实例

任何BEIR数据集的一个高级示例：

corpus = {
    "doc1" : {
        "title": "Albert Einstein", 
        "text": "Albert Einstein was a German-born theoretical physicist. who developed the theory of relativity, \
                 one of the two pillars of modern physics (alongside quantum mechanics). His work is also known for \
                 its influence on the philosophy of science. He is best known to the general public for his mass–energy \
                 equivalence formula E = mc2, which has been dubbed 'the world's most famous equation'. He received the 1921 \
                 Nobel Prize in Physics 'for his services to theoretical physics, and especially for his discovery of the law \
                 of the photoelectric effect', a pivotal step in the development of quantum theory."
        },
    "doc2" : {
        "title": "", # Keep title an empty string if not present
        "text": "Wheat beer is a top-fermented beer which is brewed with a large proportion of wheat relative to the amount of \
                 malted barley. The two main varieties are German Weißbier and Belgian witbier; other types include Lambic (made\
                 with wild yeast), Berliner Weisse (a cloudy, sour beer), and Gose (a sour, salty beer)."
    },
}

queries = {
    "q1" : "Who developed the mass-energy equivalence formula?",
    "q2" : "Which beer is brewed with a large proportion of wheat?"
}

qrels = {
    "q1" : {"doc1": 1},
    "q2" : {"doc2": 1},
}

数据字段

所有配置的示例具有以下特征：

语料库

• corpus : 表示文档标题和段落文本的字典特征，由以下内容组成：
  • _id : 表示唯一的文档标识符的字符串特征
    • title : 表示文档标题的字符串特征
    • text : 表示文档内容的字符串特征

查询

• queries : 表示查询的字典特征，由以下内容组成：
  • _id : 表示唯一的查询标识符的字符串特征
  • text : 表示查询文本的字符串特征

Qrels

• qrels : 表示查询文档相关性评判的字典特征，由以下内容组成：
  • _id : 表示查询标识符的字符串特征
    • _id : 表示文档标识符的字符串特征
    • score : 表示查询和文档之间相关性判断的int32特征

数据拆分

数据集创建

策划理由

[需要更多信息]

源数据

[需要更多信息]

[需要更多信息]

注释

[需要更多信息]

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

附加信息

数据集策划者

[需要更多信息]

授权信息

[需要更多信息]

引用信息

引用方式：

@inproceedings{
thakur2021beir,
title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Nandan Thakur and Nils Reimers and Andreas R{\"u}ckl{\'e} and Abhishek Srivastava and Iryna Gurevych},
booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
year={2021},
url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

贡献

感谢 @Nthakur20 添加了这个数据集。