GPT-J-6B-Skein模型卡

模型细节

模型描述

• 开发者：KoboldAI
• 共享者[可选]：KoboldAI
• 模型类型：文本生成
• 语言（自然语言处理）：英语
• 许可证：Apache License 2.0
• 相关模型： GPT-J 6B
  • 父模型：GPT-J
• 更多信息资源：
  • GitHub Repo
  • Associated Model Doc

使用

直接使用

该模型专为创造性故事生成而设计。它可以理解自由形式文本和以“> You”开头的交互式小说风格文本，例如：

You become aware of her breathing -- the slight expansion of her ribs, the soft exhalation -- natural, and yet somehow studied. "Ah -- by the way," she says, in a way that utterly fails to be casual, "have you seen the artist out there? -- My artist, that is."

"No," you respond, uneasy. You open your mouth and close it again.

> You ask about the experience of waking up

下游使用[可选]

需要更多信息

超出范围的使用

该模型不应用于故意创建对人不友好或疏远的环境。

偏见、风险和局限性

GPT-J的核心功能是接收一串文本并预测下一个标记。尽管语言模型在其他任务中被广泛使用，但对于这项工作仍存在许多未知。在提示GPT-J时，重要的是要记住，统计上最可能的下一个标记通常不是产生最“准确”文本的标记.不要依赖GPT-J产生准确的输出。GPT-J是在数据集Pile上进行训练的，该数据集已知包含亵渎、淫秽和其他伤害性语言。根据使用情况，GPT-J可能会生成不被接受的文本。有关Pile中偏见的更详细分析，请参阅Pile论文的第5和6节。与所有语言模型一样，很难事先预测GPT-J对特定提示的响应，可能会出现冒犯性内容而毫无预警。我们建议在发布之前由人类对结果进行筛选或过滤，以便对不期望的内容进行审核，并提高结果的质量。

有关更多信息，请参阅 GPT-J 6B model card 。

建议

用户（直接和下游）应了解模型的风险、偏见和局限性。需要进一步的信息以获取更多建议。

训练细节

训练数据

数据主要由 KoboldAI/GPT-Neo-2.7B-Horni-LN （模型）的轻小说数据集和各种交互式小说组成。数据集使用[主题：<逗号分隔的流派列表>]进行标记，这意味着如果在上下文中放置了类似的文本，模型将尝试生成指定样式的文本。有关数据集的更多详细信息，请参阅 this document 。

训练过程

预处理

使用Python包ftfy对数据进行预处理，以尽可能消除非ASCII标点符号字符和可能的编码错误。数据集中的交互式小说还经历了去重处理，因为交互式小说日志中经常包含重复文本，例如多次访问同一游戏区域的文本。使用spaCy进行语法分析，将旧文本冒险游戏中常见的动作重构为更完整的句子。还进行了一些手动的剔除工作，例如“感谢您的游戏”消息和标题消息。

速度、大小、时间

训练总共耗时约14小时，平均速度为每秒5265个标记。

评估

测试数据、因素和指标

测试数据

需要更多信息

因素

指标

需要更多信息

结果

需要更多信息

模型审查

需要更多信息

环境影响

可以使用 Machine Learning Impact calculator 中提出的 Lacoste et al. (2019) 估算碳排放量。

• 硬件类型：需要更多信息
• 使用小时数：需要更多信息
• 云提供商：需要更多信息
• 计算区域：需要更多信息
• 排放碳量：需要更多信息

技术规格[可选]

模型架构和目标

需要更多信息

计算基础设施

需要更多信息

硬件

需要更多信息

软件

https://github.com/kingoflolz/mesh-transformer-jax

引用

BibTeX：

@misc{mesh-transformer-jax,
 author = {Wang, Ben},
 title = {{Mesh-Transformer-JAX: Model-Parallel Implementation of Transformer Language Model with JAX}},
 howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},
 year = 2021,
 month = May
}

术语表[可选]

需要更多信息

更多信息[可选]

需要更多信息

模型卡作者[可选]

KoboldAI与Ezi Ozoani和Hugging Face团队合作

模型卡联系方式

需要更多信息

如何开始使用该模型

使用下面的代码开始使用该模型。

from transformers import AutoTokenizer, AutoModelForCausalLM
 
tokenizer = AutoTokenizer.from_pretrained("KoboldAI/GPT-J-6B-Skein")
 
model = AutoModelForCausalLM.from_pretrained("KoboldAI/GPT-J-6B-Skein")