模型:

hfl/chinese-pert-large-mrc

英文

一个基于PERT-large的中文MRC模型

请使用BertForQuestionAnswering来加载该模型!

这是一个基于PERT-large并在多个中文MRC数据集上微调的中文机器阅读理解(MRC)模型。

PERT是一个基于排列语言模型(PerLM)的预训练模型,以无需引入掩码标记[MASK]的自监督方式学习文本语义信息。它在阅读理解和序列标注等任务中取得了竞争性的结果。

中文MRC数据集上的结果(EM/F1):

(我们报告了具有最佳AVG分数的检查点)

CMRC 2018 Dev DRCD Dev SQuAD-Zen Dev (Answerable) AVG
PERT-large 73.5/90.8 91.2/95.7 63.0/79.3 75.9/88.6

请访问我们的GitHub仓库获取更多信息: https://github.com/ymcui/PERT

您可能还对以下内容感兴趣:

Chinese Minority Languages CINO: https://github.com/ymcui/Chinese-Minority-PLM Chinese MacBERT: https://github.com/ymcui/MacBERT Chinese BERT series: https://github.com/ymcui/Chinese-BERT-wwm Chinese ELECTRA: https://github.com/ymcui/Chinese-ELECTRA Chinese XLNet: https://github.com/ymcui/Chinese-XLNet Knowledge Distillation Toolkit - TextBrewer: https://github.com/airaria/TextBrewer

HFL提供的更多资源: https://github.com/ymcui/HFL-Anthology