Fairseq-dense 2.7B - Nerys

模型描述

Fairseq-dense 2.7B-Nerys 是使用Fairseq的MoE dense模型进行微调创建的。

训练数据

训练数据包含大约2500本各种流派的电子书（“Pike”数据集），一个叫做“CYS”的CYOA数据集，以及50本亚洲的“轻小说”（“Manga-v1”数据集）。大部分数据集都以以下文本开头：[流派：<流派1>，<流派2>]

如何使用

您可以直接使用此模型进行文本生成的流程。每次运行该示例将生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-2.7B-Nerys')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

限制和偏见

根据NLP技术的已知问题，可能存在相关因素，包括偏见（性别，职业，种族和宗教）。

BibTeX条目和引用信息

Artetxe et al. (2021): Efficient Large Scale Language Modeling with Mixtures of Experts