GPT-Neo 1.3B - 冒险

模型介绍

GPT-Neo 1.3B-冒险是使用EleutherAI的GPT-Neo 1.3B模型进行微调创建的。

训练数据

训练数据是VE的“cys”数据集的直接副本，该数据集基于CYOA。

如何使用

您可以直接使用此模型来进行文本生成管道。以下示例每次运行都会生成不同的序列:

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-Neo-1.3B-Adventure')
>>> generator("> You wake up.", do_sample=True, min_length=50)
[{'generated_text': '> You wake up"\nYou get out of bed, don your armor and get out of the door in search for new adventures.'}]

限制和偏见

GPT-Neo是一个自回归语言模型。这意味着它的核心功能是输入一个文本字符串并预测下一个标记。虽然语言模型广泛用于除此之外的任务，但在这项工作中还存在许多未知。GPT-Neo是在包含亵渎、淫秽和冒犯性语言的数据集Pile上进行训练的。根据您的用例，GPT-Neo可能会生成不符合社会规范的文本。请参阅Pile文档的第5和第6部分，详细分析Pile中的偏见。与所有语言模型一样，很难预测GPT-Neo对特定提示的响应，可能会突然出现冒犯性内容。我们建议在发布之前，人工筛选或过滤输出，以便审查不良内容并改善结果的质量。

BibTeX条目和引用信息

该模型是使用以下软件创建的:

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}