韩语 Bert base 模型

更新

• 2021年11月17日更新：添加对BERT分词器的本地支持（与AutoTokenizer, pipeline兼容）

• 使用70GB的韩语文本数据集和42000个小写子词
• 检查模型性能以及其他针对韩语的语言模型在 github 中

from transformers import pipeline

pipe = pipeline('text-generation', model='beomi/kykim-gpt3-kor-small_based_on_gpt2')
print(pipe("안녕하세요! 오늘은"))
# [{'generated_text': '안녕하세요! 오늘은 제가 요즘 사용하고 있는 클렌징워터를 소개해드리려고 해요! 바로 이 제품!! 바로 이'}]