模型名称

模型描述

这个模型是一个序列到序列的问答生成器，它以一个答案和上下文作为输入，生成一个问题作为输出。它基于一个预训练的 t5-base 模型。

使用目的和限制

该模型经过训练，可以生成从文本中提取出的阅读理解风格的问题。模型在处理完整句子答案时效果最好，但也可以处理单词或短语答案。

模型将连结的答案和上下文作为输入序列，生成一个完整的问题句子作为输出序列。最大序列长度为512个标记。输入应按照以下格式组织：

<answer> answer text here <context> context text here

然后，可以编码输入序列并将其作为模型的 generate() 方法的 input_ids 参数传递。

为了获得最佳结果，可以生成大量的问题，然后使用 iarfmoose/bert-base-cased-qa-evaluator 进行过滤。

有关示例，请参阅 https://github.com/iarfmoose/question_generator 。

模型限于生成与 SQuAD 、 CoQA 和 MSMARCO 中发现的问题相同风格的问题。生成的问题可能具有引导性或反映上下文中存在的偏见。如果上下文太短或完全缺失，或者上下文与答案不匹配，生成的问题可能不连贯。

训练数据

该模型在几个知名的问答数据集（ SQuAD 、 CoQA 和 MSMARCO ）上进行了微调。通过将答案和上下文字段重组成前面提到的格式，重新组织了数据集。在训练过程中，使用数据集中的问题字段作为目标。完整的训练集大约有20万个示例。

训练过程

该模型在训练集上进行了20个epoch的训练，学习率为1e-3。由于在Google Colab上训练时的GPU内存限制，批大小仅为4。