数据集:

allenai/wcep_sparse_mean

语言:

en

计算机处理:

monolingual

大小:

1K<n<10K

语言创建人:

expert-generated

批注创建人:

expert-generated

源数据集:

original

许可:

other
英文

这是一份复制的 WCEP-10 数据集,只是测试集的输入源文档被一个稀疏的检索器替换了。使用的检索流程如下:

  • 查询:每个示例的摘要字段
  • 语料库:训练集、验证集和测试集中所有文档的并集
  • 检索器:使用默认设置的 PyTerrier 中的BM25
  • top-k策略:"mean",即检索的文档数量k被设置为此数据集中所有示例中所见文档数量的平均值,本例中k==9

训练集的检索结果:

Recall@100 Rprec Precision@k Recall@k
0.8753 0.6443 0.6196 0.6237

验证集的检索结果:

Recall@100 Rprec Precision@k Recall@k
0.8706 0.6280 0.6260 0.5989

测试集的检索结果:

Recall@100 Rprec Precision@k Recall@k
0.8836 0.6658 0.6601 0.6388