Pythia-Greentext-1.4b

一个在“greentext”数据集上微调的版本。一个演示可用 here 。建议使用演示游乐场而不是右侧的推理框。

这是对我“GPT-Greentext”发布的另一种方式。

训练过程

该模型在Google Colab上使用“greentext”数据集进行训练。此模型经过1个epoch的训练，学习率为1e-2。值得注意的是，该模型使用了“prompt”和“completion”风格的jsonl文件，而不是greentext数据集中的纯文本文件。这样做能获得更好、更一致的结果。

偏见和限制

这个模型可能包含基于原始模型的相同偏见和限制，还可能受到greentext数据集的重大偏见的影响。需要注意的是，可能会产生冒犯性或不符合公序良俗的输出。

预期用途

这个模型只是用于娱乐，没有其他用途。

与其他模型的显着区别

这个模型倾向于使用no_repeat_ngram_size值为1或2，而其他模型倾向于使用3。

示例用法

#Import model:
from happytransformer import HappyGeneration
happy_gen = HappyGeneration("GPTNEO", "DarwinAnim8or/Pythia-Greentext-1.4b")

#Set generation settings:
from happytransformer import GENSettings
args_top_k = GENSettingsGENSettings(no_repeat_ngram_size=2, do_sample=True, top_k=80, temperature=0.1, max_length=150, early_stopping=False)

#Generate a response:
result = happy_gen.generate_text(""">be me
>""", args=args_top_k)

print(result)
print(result.text)