Fairseq-dense 2.7B - Janeway

模型说明

Fairseq-dense 2.7B-Janeway是使用Fairseq的MoE密集模型进行细调而创建的。

训练数据

训练数据包括约2210个电子书，主要涵盖科幻和奇幻类别。该数据集与GPT-Neo-2.7B-Janeway使用的数据集完全相同。该数据集的某些部分使用以下文本进行了前置处理：[Genre: <genre1>,<genre2>]

如何使用

您可以直接在文本生成的管道中使用此模型。每次运行此示例都会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-2.7B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

限制和偏见

基于对NLP技术已知的问题，潜在的相关因素包括偏见（性别、职业、种族和宗教）。

BibTeX条目和引用信息

Artetxe et al. (2021): Efficient Large Scale Language Modeling with Mixtures of Experts