Fairseq-dense 13B - Shinen

模型描述

Fairseq-dense 13B-Shinen 是使用 Fairseq 的 MoE dense 模型进行微调而创建的。与 GPT-Neo-2.7-Horni 相比，该模型在性内容方面更加重。 警告：该模型不适合未成年人使用。该模型将输出X级别的内容。

训练数据

训练数据包含来自 sexstories.com 的用户生成的故事。所有故事都使用以下方式进行标记：

[Theme: <theme1>, <theme2> ,<theme3>]
<Story goes here>

如何使用

您可以直接使用文本生成管道使用此模型。此示例每次运行时生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-13B-Shinen')
>>> generator("She was staring at me", do_sample=True, min_length=50)
[{'generated_text': 'She was staring at me with a look that said it all. She wanted me so badly tonight that I wanted'}]

限制和偏见

基于自然语言处理技术的已知问题，潜在的相关因素包括偏见（性别、职业、种族和宗教）。

BibTeX 引用和引文信息

Artetxe et al. (2021): Efficient Large Scale Language Modeling with Mixtures of Experts