realm-cc-news-pretrained-encoder

模型描述

使用 CC-News 作为目标语料库和 Wikipedia 作为知识语料库对 REALM 模型进行预训练，该模型是由 Google Language 提供的 TF 检查点进行转换而来。

原始论文、代码和检查点可以在 here 找到。

用法

from transformers import RealmKnowledgeAugEncoder

encoder = RealmKnowledgeAugEncoder.from_pretrained("qqaatw/realm-cc-news-pretrained-encoder")