2022/9/14合并了 open PR 。您可以使用此模型与transformers的v4.23及更高版本配合使用,方法如下:
pip install transformers
该存储库提供了一个基于 GPT-NeoX 的2.7B参数的日语模型。该模型由 ABEJA, Inc 训练。
使用Pipeline进行文本生成。
from transformers import pipeline generator = pipeline("text-generation", model="abeja/gpt-neox-japanese-2.7b") generated = generator( "人とAIが協調するためには、", max_length=300, do_sample=True, num_return_sequences=3, top_p=0.95, top_k=50 ) print(*generated, sep="\n") """ [out] {"generated_text": "人とAIが協調するためには、「人が持っている優れた能力とAIの得意とする分野を掛け合わせる」ことが不可欠になります。"} {"generated_text": "人とAIが協調するためには、双方の長所を活かしていくことが不可欠だと考えています。"} {"generated_text": "人とAIが協調するためには、人間がAIを理解する、ということが重要です。人間には「AIに対してAIが何をするべきか」ということを明確に教えないと、AIはある程度の知識はあっても何をすべきかがわかりません。だから、コンピューターが考えたり、決めたりすることはAIではなく、人間が解釈して理解できるようにしなくて"} """
使用PyTorch。
from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("abeja/gpt-neox-japanese-2.7b") model = AutoModelForCausalLM.from_pretrained("abeja/gpt-neox-japanese-2.7b") input_text = "人とAIが協調するためには、" input_ids = tokenizer.encode(input_text, return_tensors="pt") gen_tokens = model.generate( input_ids, max_length=100, do_sample=True, num_return_sequences=3, top_p=0.95, top_k=50, ) for gen_text in tokenizer.batch_decode(gen_tokens, skip_special_tokens=True): print(gen_text)
该模型是在 Japanese CC-100 、 Japanese Wikipedia 和 Japanese OSCAR 上训练的。
该模型使用 special sub-word tokenizer 。请详细参阅原始存储库或 GPT-NeoX-Japanese 。