GPT-NeoX-20B-Skein

模型描述

Skein是一系列混合故事生成模型，旨在用于文本冒险创作和普通小说风格的写作。这些模型在第二人称方面具有很强的偏见。如有疑问，请联系KoboldAI社区。

名称取自Inform 7编程语言的集成开发环境，它将对话树称为“Skein”。部分交互式小说是使用Inform 6和7创建的。

训练过程

GPT-NeoX-20B-Skein是在TPUv3-32 TPU Pod上使用Ben Wang的Mesh Transformer JAX库的大幅修改版本进行训练的。EleutherAI使用原始版本训练了他们的GPT-J-6B模型。训练超参数和统计信息可以在 here 中找到。

训练数据

数据主要包括来自 KoboldAI/GPT-Neo-2.7B-Horni-LN 模型的轻小说和各种交互式小说。数据集使用[主题：<逗号分隔的流派列表>]进行标记。有关详细信息，请参阅 this document 。

限制和偏见

根据已知的自然语言处理技术问题，潜在的相关因素包括偏见（性别、职业、种族和宗教）。

引用详情

GPT-NeoX-20B模型权重：

@inproceedings{gpt-neox-20b,
  title={{GPT-NeoX-20B}: An Open-Source Autoregressive Language Model},
  author={Black, Sid and Biderman, Stella and Hallahan, Eric and Anthony, Quentin and Gao, Leo and Golding, Laurence and He, Horace and Leahy, Connor and McDonell, Kyle and Phang, Jason and Pieler, Michael and Prashanth, USVSN Sai and Purohit, Shivanshu and Reynolds, Laria and Tow, Jonathan and Wang, Ben and Weinbach, Samuel},
  booktitle={Proceedings of the ACL Workshop on Challenges \& Perspectives in Creating Large Language Models},
  url={https://arxiv.org/abs/2204.06745},
  year={2022}
}

Mesh Transformer JAX库：

@misc{mesh-transformer-jax,
  author = {Wang, Ben},
  title = {{Mesh-Transformer-JAX: Model-Parallel Implementation of Transformer Language Model with JAX}},
  howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},
  year = 2021,
  month = May
}