模型:
ckiplab/albert-tiny-chinese-pos
本專案提供了繁體中文的 transformers 模型(包含 ALBERT、BERT、GPT2)及 NLP 工具(包含詞分割、詞性標記、命名實體識別)。
這個專案提供了繁體中文的 transformers 模型(包括 ALBERT、BERT、GPT2)和 NLP 工具(包括分詞、詞性標記、命名實體識別)。
請使用 BertTokenizerFast 作為分詞器,而不是 AutoTokenizer。
請使用 BertTokenizerFast 而非 AutoTokenizer。
from transformers import ( BertTokenizerFast, AutoModel, ) tokenizer = BertTokenizerFast.from_pretrained('bert-base-chinese') model = AutoModel.from_pretrained('ckiplab/albert-tiny-chinese-pos')
有關完整使用方法及更多資訊,請參閱 https://github.com/ckiplab/ckip-transformers 。
有關完整使用方法及其他資訊,請參見 https://github.com/ckiplab/ckip-transformers 。