模型:
KoichiYasuoka/chinese-roberta-base-upos
这是一个在中文维基百科文本(包括简体和繁体)上进行预训练的BERT模型,用于词性标注和依存句法分析,源自 chinese-roberta-wwm-ext 。每个词都由 UPOS (通用词性标记)进行标注。
from transformers import AutoTokenizer,AutoModelForTokenClassification tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/chinese-roberta-base-upos") model=AutoModelForTokenClassification.from_pretrained("KoichiYasuoka/chinese-roberta-base-upos")
or
import esupar nlp=esupar.load("KoichiYasuoka/chinese-roberta-base-upos")
esupar :具有BERT / RoBERTa / DeBERTa模型的分词器,词性标注和依存句法分析器