模型:

rinna/japanese-gpt-neox-small

任务:

文本生成

类库:

PyTorch Transformers

数据集:

cc100 Wikipedia mc4 3Amc4 3AWikipedia 3Acc100

语言:

其他:

gpt_neox japanese gpt-neox lm nlp text-generation-inference

预印本库:

arxiv:2101.00190

许可:

mit

模型介绍文件清单

英文

japanese-gpt-neox-small

该代码库提供了一个小型的日语GPT-NeoX模型。该模型是使用基于 EleutherAI/gpt-neox 的代码进行训练的。

更新日志

2023/03/20 更新了模型的权重和配置文件，以便可以通过Huggingface官方的GPT-NeoX实现进行加载。

如何使用该模型

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-neox-small", use_fast=False)
model = GPTNeoXForCausalLM.from_pretrained("rinna/japanese-gpt-neox-small")

模型架构

一个包含12层、768隐藏大小的基于Transformer的语言模型。

训练

该模型是在 Japanese CC-100 、 Japanese C4 和 Japanese Wikipedia 上进行训练的，以优化传统的语言模型目标。

分词

该模型使用基于 sentencepiece 的分词器。

一个玩具前缀调整权重文件

除了预训练模型外，我们还发布了一个称为smileface_suffix.task0.weight的 prefix-tuning 权重文件以供演示。该玩具前缀调整权重是为了鼓励模型以微笑的表情符号?结束每个生成的句子。在我们的Github仓库 prefix-tuning-gpt 中可以找到前缀调整的训练/推理代码。

这里是几个使用和不使用玩具前缀权重生成的样本。

不使用前缀权重的3个样本

「きっとそれは絶対間違ってないね。わたしには5か国語に4つの外国語の意味なんてわからない。でも、とりあえずこの簡単な英文がどんな意味を持つのか知りたいよね!」

25分頃に公園に着いて、ベンチに座って待っていると、またしてもS先生から連絡が入りました。確か、午後の礼拝の時に自分の持ってきたお弁当を食べた記憶が鮮明に残っています。後でインターネットで検索したら、S先生のブログに飛びました。今日の晩ごはんは焼きナスを作ってみました! * 上の写真は昨日の朝焼けです。

CTで歯形ができて、その後さらにその歯形が再び噛めるようになるのは、何が原因だろう?虫歯になった原因も、口臭かな?それとも歯周病かな?歯石がとれるまで、、、もうちょっとかかりそう。子供の虫歯って、なかなか治らないですよね。親兄弟で何度か。子供の歯根は、親のものになります。そして自分のものだったり、知らない間に抜いたりし、生えてきたりもします。大人になって親からみた場合は、白い歯に変わってきて、金属のようーでも悪くなく、親からのむし歯の心配はないですよね。

使用前缀权重的3个样本：

※海外ブランド品の場合は、返品・返金等はお受け致しかねますので予めご了承願います。※商品発送後、お客様へ商品返送完了までのスピードを重視する方は海外ブランド品を先に送り付けさせて頂くケースがございます。 ?

私は過去に持っていた不動産を、中古住宅として売却していましたが、その後の私の状況はどうだったのでしょうか? ? 結果としては、投資物件として売却を考えていますが、今までの相場も読んでいただけばわかると思います。 ? 今まで、物件に対しての投資は非常に控えめにしてきたのですが、今回の提案を読んで、実際に物件を購入する際にはきちんと確認をしようと思います。 ?

この写真集の表紙をこの台紙にしている作家さんは、まるで誰かの指示を受けて行動している人物のように見える、というのが、この作品をやぶにらんだ「殺し屋集団」の描いている作品であるように思います。 ?

使用FasterTransformer进行推理

从版本5.1开始， NVIDIA FasterTransformer 现在支持GPT-NeoX的推理和各种软提示（包括前缀调整）。此代码库中发布的预训练模型和前缀权重已经通过FasterTransformer 5.1进行了验证。

许可证

The MIT license

作者:

rinna Co., Ltd.

数据集大小:

634.53 MB