Google's T5 用于封闭书目问题回答。

该模型是在 C4 上使用 T5 的去噪目标进行预训练的，随后又在 Wikipedia 上使用显著跨度掩码目标进行了额外的预训练。

注意：在将其用于封闭书目问题回答之前，应对此模型进行问题回答下游任务的微调。

其他社区检查点： here

论文： How Much Knowledge Can You Pack Into the Parameters of a Language Model?

作者：Adam Roberts，Colin Raffel，Noam Shazeer

摘要

最近观察到，在训练于非结构化文本的神经语言模型中，可以使用自然语言查询来隐式存储和检索知识。在这篇简短的论文中，我们通过微调预训练模型来回答问题，而无需访问任何外部上下文或知识，以衡量这种方法的实用性。我们展示了这种方法随着模型规模的增加而扩展，并且在回答问题时与显式从外部知识源检索答案的开放域系统竞争性地表现。为了促进可再现性和未来的研究，我们将我们的代码和训练模型发布在 https://goo.gle/t5-cbqa 。