OPT 6B - Nerys

模型描述

OPT 6B-Nerys是使用Facebook的OPT模型进行微调创建的。

训练数据

训练数据包含大约2500本不同类型（“Pike”数据集）的电子书，一个称为“CYS”的CYOA数据集和50本亚洲的“轻小说”（“Manga-v1”数据集）。数据集的大部分内容都已使用以下文本进行了前置处理：[类型：<genre1>，<genre2>]该数据集已按照fairseq-dense-13B-Nerys-v2进行了清理处理。

如何使用

您可以直接使用该模型进行文本生成的流程。下面的示例每次运行都会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/OPT-6B-Nerys-v2')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

限制和偏见

根据已知的NLP技术问题，潜在的相关因素包括偏见（性别、职业、种族和宗教）。

许可证

OPT-6B使用OPT-175B许可证，版权所有© Meta Platforms, Inc.保留所有权利。

BibTeX条目和引用信息

@misc{zhang2022opt,
      title={OPT: Open Pre-trained Transformer Language Models}, 
      author={Susan Zhang and Stephen Roller and Naman Goyal and Mikel Artetxe and Moya Chen and Shuohui Chen and Christopher Dewan and Mona Diab and Xian Li and Xi Victoria Lin and Todor Mihaylov and Myle Ott and Sam Shleifer and Kurt Shuster and Daniel Simig and Punit Singh Koura and Anjali Sridhar and Tianlu Wang and Luke Zettlemoyer},
      year={2022},
      eprint={2205.01068},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}