BERT-base-cased-qa-evaluator

这个模型接受一个问题答案对作为输入，并输出一个表示其对是否为有效问题答案对的预测值。该模型是一个预训练的 BERT-base-cased ，带有一个序列分类头。

拟用途

QA 评价器最初是设计用来评估生成的问题的质量的。

QA 评价器的输入符合 BertForSequenceClassification 的格式，但使用问题和答案作为两个序列。输入应采用以下格式：

[CLS] <question> [SEP] <answer [SEP]

限制和偏见

该模型训练用来评估问题和答案是否语义相关，但不能确定答案是否真实/正确。

训练数据

训练数据是由以下数据集的问题-答案对组成：

• SQuAD
• RACE
• CoQA
• MSMARCO

训练过程

问题和答案有50%的概率被连接在一起。另外50%的情况下，会执行一次破坏操作（例如将答案与不相关的答案交换，或者将问题的一部分复制到答案中）。然后，模型被训练来预测输入序列是原始的 QA 对还是破坏后的输入。