Pygmalion 1.3B

模型描述

Pymalion 1.3B 是一个基于EleutherAI的 pythia-1.3b-deduped 的概念验证对话模型。

警告：此模型不适合未成年人使用。在特定情况下，它会生成淫秽内容。

训练数据

精调数据集由从多个来源获取的56MB对话数据组成，包括真实对话和部分机器生成对话。

训练过程

使用 ColossalAI 进行了微调（具体来说，使用了他们的一个稍微修改过的 OPT fine-tune example 版本），在单个24GB GPU上进行了大约1140万标记、5440个步骤的训练。整个过程耗时不到21小时。

预期使用方式

简单方式

我们提供了一个带有Gradio用户界面的笔记本，可以通过该界面与模型进行交互，而不需要手动格式化输入。可以在以下位置找到该笔记本： here 。

手动方式

该模型可以用作常规的文本生成模型，但如果输入提示符符合以下格式，它将表现得最好：

[CHARACTER]'s Persona: [A few sentences about the character you want the model to play]

[DIALOGUE HISTORY]
You: [Your input message here]
[CHARACTER]:

在上述格式中，[角色]是您要模型扮演的角色名称，[对话历史]是对话历史，以便模型可以从中获取一些对话背景。理想情况下，它将是一对消息，例如：

[CHARACTER]: [some dialogue here]
You: [your response to the dialogue above]

除了对话历史之外，您还可以在[对话历史]中添加示例对话，以展示角色应该如何说话-理想情况下，这些示例应位于开头，以免在对话历史与角色定义之间产生混淆。

已知问题

• 模型可能会陷入重复某些短语，甚至是整个句子的情况。
  • 我们相信这是由训练数据本身中存在的行为导致的，并计划在以后的版本中进行调查和相应的调整。