BEIR Benchmark数据集卡片

数据集摘要

BEIR是一个由18个不同数据集构建的异构基准，代表着9个信息检索任务：

• 事实核实： FEVER ， Climate-FEVER ， SciFact
• 问题回答： NQ ， HotpotQA ， FiQA-2018
• 生物医学信息检索： TREC-COVID ， BioASQ ， NFCorpus
• 新闻检索： TREC-NEWS ， Robust04
• 议论检索： Touche-2020 ， ArguAna
• 重复问题检索： Quora ， CqaDupstack
• 引用预测： SCIDOCS
• 推文检索： Signal-1M
• 实体检索： DBPedia

所有这些数据集都经过预处理，可以用于您的实验。

支持的任务和排行榜

该数据集支持一个排行榜，评估模型的任务指标（如F1或EM），以及检索来自维基百科的支持信息的能力。

当前的最佳模型可以在 here 中找到。

语言

所有任务都使用英语（en）。

数据集结构

所有BEIR数据集必须包含一个语料库、查询和qrels（相关性判断文件）。它们必须采用以下格式：

• 语料库文件：一个.jsonl文件（jsonlines），其中包含一系列字典，每个字典包含三个字段：_id（唯一文档标识符）、title（文档标题，可选）和text（文档段落或文章）。例如：{"_id": "doc1", "title": "阿尔伯特·爱因斯坦", "text": "阿尔伯特·爱因斯坦是德国出生的..."}
• 查询文件：一个.jsonl文件（jsonlines），其中包含一系列字典，每个字典包含两个字段：_id（唯一查询标识符）和text（查询文本）。例如：{"_id": "q1", "text": "谁提出了质能等效公式？"}
• qrels文件：一个.tsv文件（制表符分隔），包含三列，即query-id、corpus-id和score，顺序如此。首行保留为标题。例如：q1 doc1 1

数据实例

任何beir数据集的高级示例：

corpus = {
    "doc1" : {
        "title": "Albert Einstein", 
        "text": "Albert Einstein was a German-born theoretical physicist. who developed the theory of relativity, \
                 one of the two pillars of modern physics (alongside quantum mechanics). His work is also known for \
                 its influence on the philosophy of science. He is best known to the general public for his mass–energy \
                 equivalence formula E = mc2, which has been dubbed 'the world's most famous equation'. He received the 1921 \
                 Nobel Prize in Physics 'for his services to theoretical physics, and especially for his discovery of the law \
                 of the photoelectric effect', a pivotal step in the development of quantum theory."
        },
    "doc2" : {
        "title": "", # Keep title an empty string if not present
        "text": "Wheat beer is a top-fermented beer which is brewed with a large proportion of wheat relative to the amount of \
                 malted barley. The two main varieties are German Weißbier and Belgian witbier; other types include Lambic (made\
                 with wild yeast), Berliner Weisse (a cloudy, sour beer), and Gose (a sour, salty beer)."
    },
}

queries = {
    "q1" : "Who developed the mass-energy equivalence formula?",
    "q2" : "Which beer is brewed with a large proportion of wheat?"
}

qrels = {
    "q1" : {"doc1": 1},
    "q2" : {"doc2": 1},
}

数据字段

所有配置的示例具有以下特征：

语料库

• 语料库：表示文档标题和段落文本的dict特征，由以下部分组成：
  • _id：表示唯一文档id的string特征
    • title：表示文档标题的string特征。
    • text：表示文档文本的string特征。

查询

• 查询：表示查询的dict特征，由以下部分组成：
  • _id：表示唯一查询id的string特征
  • text：表示查询文本的string特征。

qrels

• qrels：表示查询文档相关性判断的dict特征，由以下部分组成：
  • _id：表示查询id的string特征
    • _id：表示文档id的string特征。
    • score：表示查询和文档之间相关性判断的int32特征。

数据拆分

Dataset	Website	BEIR-Name	Type	Queries	Corpus	Rel D/Q	Down-load	md5
MSMARCO	12321321	msmarco	train dev test	6,980	8.84M	1.1	12322321	444067daf65d982533ea17ebd59501e4
TREC-COVID	12323321	trec-covid	test	50	171K	493.5	12324321	ce62140cb23feb9becf6270d0d1fe6d1
NFCorpus	12325321	nfcorpus	train dev test	323	3.6K	38.2	12326321	a89dba18a62ef92f7d323ec890a0d38d
BioASQ	12327321	bioasq	train test	500	14.91M	8.05	No	12328321
NQ	12329321	nq	train test	3,452	2.68M	1.2	12330321	d4d3d2e48787a744b6f6e691ff534307
HotpotQA	12331321	hotpotqa	train dev test	7,405	5.23M	2.0	12332321	f412724f78b0d91183a0e86805e16114
FiQA-2018	12333321	fiqa	train dev test	648	57K	2.6	12334321	17918ed23cd04fb15047f73e6c3bd9d9
Signal-1M(RT)	12335321	signal1m	test	97	2.86M	19.6	No	12336321
TREC-NEWS	12337321	trec-news	test	57	595K	19.6	No	12338321
ArguAna	12339321	arguana	test	1,406	8.67K	1.0	12340321	8ad3e3c2a5867cdced806d6503f29b99
Touche-2020	12341321	webis-touche2020	test	49	382K	19.0	12342321	46f650ba5a527fc69e0a6521c5a23563
CQADupstack	12343321	cqadupstack	test	13,145	457K	1.4	12344321	4e41456d7df8ee7760a7f866133bda78
Quora	12345321	quora	dev test	10,000	523K	1.6	12346321	18fb154900ba42a600f84b839c173167
DBPedia	12347321	dbpedia-entity	dev test	400	4.63M	38.2	12348321	c2a39eb420a3164af735795df012ac2c
SCIDOCS	12349321	scidocs	test	1,000	25K	4.9	12350321	38121350fc3a4d2f48850f6aff52e4a9
FEVER	12351321	fever	train dev test	6,666	5.42M	1.2	12352321	5a818580227bfb4b35bb6fa46d9b6c03
Climate-FEVER	12353321	climate-fever	test	1,535	5.42M	3.0	12354321	8b66f0a9126c521bae2bde127b4dc99d
SciFact	12355321	scifact	train test	300	5K	1.1	12356321	5f7d1de60b170fc8027bb7898e2efca1
Robust04	12357321	robust04	test	249	528K	69.9	No	12358321

数据集创建

策划理由

[需要更多信息]

源数据

Initial Data Collection and Normalization

[需要更多信息]

Who are the source language producers?

[需要更多信息]

注释

Annotation process

[需要更多信息]

Who are the annotators?

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

其他信息

数据集策划者

[需要更多信息]

授权信息

[需要更多信息]

引用信息

Cite as:

@inproceedings{
thakur2021beir,
title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Nandan Thakur and Nils Reimers and Andreas R{\"u}ckl{\'e} and Abhishek Srivastava and Iryna Gurevych},
booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
year={2021},
url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

贡献者

感谢 @Nthakur20 添加了这个数据集。