这是 Flax/Jax Community Week 的一部分,由 HuggingFace 组织,并且使用 Google 赞助的 TPU 进行使用。
我们使用了 Oscar 数据集,该数据集是通过对 Common Crawl 数据集进行语言分类和过滤而获得的一个巨大的多语言语料库。
您可以直接使用文本生成的 pipeline 来使用此模型。
from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel tokenizer = AutoTokenizer.from_pretrained('flax-community/gpt2-medium-persian') model = GPT2LMHeadModel.from_pretrained('flax-community/gpt2-medium-persian') generator = pipeline('text-generation', model, tokenizer=tokenizer, config={'max_length':100}) generated_text = generator('در یک اتفاق شگفت انگیز، پژوهشگران')
若要使用 Tensorflow,请导入 TFGPT2LMHeadModel,而不是 GPT2LMHeadModel。
...即将推出
...即将推出