roberta-base-chinese

模型描述

这是一个在中文维基百科文本（包括简体和繁体）上进行预训练的 RoBERTa 模型。NVIDIA A100-SXM4-40GB 训练时间为 48 小时 56 分钟。您可以对 roberta-base-chinese 进行微调，用于下游任务，例如 POS-tagging ， dependency-parsing 等等。

如何使用

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/roberta-base-chinese")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/roberta-base-chinese")