《探究神经语言模型对估计概率词汇的理解能力》文章附带的数据集

此数据集测试了语言模型正确捕捉表示概率的词汇（WEP，也称为动词概率），例如诸如"probably"、"maybe"、"surely"、"impossible"等词汇的含义。

我们使用概率软逻辑结合使用WEP表达的概率性陈述（WEP-Reasoning），还使用UNLI数据集直接检查模型是否能够检测到与人工注释的概率匹配的WEP。

该数据集可用作自然语言推理数据（上下文、前提、标签）或多项选择题（上下文、有效假设、无效假设）。

代码： colab

已被Starsem2023（第12届词汇和计算语义联合会议）接受。暂时引用：

@article{sileo2022probing,
  title={Probing neural language models for understanding of words of estimative probability},
  author={Sileo, Damien and Moens, Marie-Francine},
  journal={arXiv preprint arXiv:2211.03358},
  year={2022}
}