GPT-J 6B - Shinen

模型描述

GPT-J 6B-Shinen 是使用EleutherAI的GPT-J 6B模型进行微调创建的。与GPT-Neo-2.7-Horni相比，该模型在性内容方面更加丰富。警告：本模型不适合未成年人使用。该模型将输出X级内容。

训练数据

训练数据包含来自sexstories.com的用户生成的故事。所有故事都使用以下方式进行标记：

[Theme: <theme1>, <theme2> ,<theme3>]
<Story goes here>

如何使用

您可以直接使用文本生成的管道来使用此模型。此示例每运行一次都会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-J-6B-Shinen')
>>> generator("She was staring at me", do_sample=True, min_length=50)
[{'generated_text': 'She was staring at me with a look that said it all. She wanted me so badly tonight that I wanted'}]

限制和偏见

GPT-J的核心功能是接收一串文本并预测下一个标记。尽管语言模型在这之外广泛用于其他任务，但这项工作还有许多未知之处。在提示GPT-J时，重要的是要记住，统计上最可能的下一个标记通常不会产生最“准确”的文本。不要依赖GPT-J来产生事实准确的输出。

GPT-J是在包含粗言秽语、淫秽和其他侮辱性语言的数据集Pile上训练的。根据使用情况，GPT-J可能会产生社会不可接受的文本。有关Pile中偏见的更详细分析，请参阅 Sections 5 and 6 of the Pile paper 。

与所有语言模型一样，很难预先预测GPT-J对特定提示的响应，可能会突然出现冒犯性内容。我们建议在发布之前由人工进行审核或过滤输出内容，以删除不良内容并改善结果的质量。

BibTeX入口和引文信息

该模型使用以下模型作为基础：

@misc{gpt-j,
  author = {Wang, Ben and Komatsuzaki, Aran},
  title = {{GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model}},
  howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},
  year = 2021,
  month = May
}

致谢

本项目的实现离不开Google通过 TPU Research Cloud 慷慨提供的计算资源，以及Cloud TPU团队提供的 Cloud TPU VM Alpha的早期访问权。