数据集:

mteb/summeval

语言:

en
英文

SummEval

注释包括由100个源新闻文章生成的16个模型的摘要(共计1600个例子)。每个摘要由5名独立的众包工人和3名独立的专家进行注释(共计8个注释)。摘要根据连贯性、一致性、流畅性和相关性进行评估。每个源新闻文章都附带CNN / DailyMail数据集的原始参考文献和10个额外的众包参考摘要。

对于此数据集,我们对3位专家的注释进行平均,以得到人工评分。

来源: https://github.com/Yale-LILY/SummEval