Fairseq-dense 6.7B - Shinen

模型描述

Fairseq-dense 6.7B-Shinen是使用Fairseq的MoE dense模型进行微调创建的。与GPT-Neo-2.7-Horni相比，该模型在性内容上更加重。警告：这个模型不适合未成年人使用。模型会输出限制级内容。

训练数据

训练数据来源于sexstories.com的用户生成的故事。所有故事都使用以下方式进行标记：

[Theme: <theme1>, <theme2> ,<theme3>]
<Story goes here>

如何使用

您可以直接使用此模型进行文本生成的流程。此示例每次运行时会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-6.7B-Shinen')
>>> generator("She was staring at me", do_sample=True, min_length=50)
[{'generated_text': 'She was staring at me with a look that said it all. She wanted me so badly tonight that I wanted'}]

限制和偏见

基于已知的自然语言处理技术问题，潜在的相关因素包括偏见（性别、职业、种族和宗教）。

BibTeX条目和引用信息

Artetxe et al. (2021): Efficient Large Scale Language Modeling with Mixtures of Experts