Fairseq-dense 13B - Nerys

模型描述

Fairseq-dense 13B-Nerys 是使用 Fairseq 的 MoE dense 模型进行微调而来的。

训练数据

训练数据包含大约 2500 本不同类型的电子书（"Pike" 数据集），一个称为 "CYS" 的 CYOA 数据集，以及 50 本亚洲的 "轻小说"（"Manga-v1" 数据集）。数据集的大部分都已经在文本前添加了以下内容: [Genre: <genre1>, <genre2>]

修订更改：

• 删除了所有标题
• 删除了所有空格
• 对数据进行了一些重排

如何使用

您可以直接使用此模型进行文本生成的流水线。每次运行此示例都会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-13B-Nerys')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

限制和偏见

基于已知的自然语言处理技术问题，潜在的相关因素包括偏见（性别、职业、种族和宗教）。

BibTeX 条目和引用信息

Artetxe et al. (2021): Efficient Large Scale Language Modeling with Mixtures of Experts