Pygmalion 7B

与LLaMA fine-tune的对话模型

模型详情：

Pygmalion 7B是基于Meta的LLaMA-7B的对话模型。

这是第1版。它经过细调，使用了Pygmalion-6B-v8-pt4的部分数据，对于熟悉该项目的人来说 ，这一点应该是有所了解的。

应用的XORs与量化

这个模型已经预先应用了XOR文件。转换自PygmalionAI发布的XOR权重： https://huggingface.co/PygmalionAI/pygmalion-7b

量化过程使用了 https://github.com/oobabooga/GPTQ-for-LLaMa 以在KoboldAI中使用

使用以下命令进行：

python llama.py ./TehVenom_Pygmalion-7b-Merged-Safetensors c4 --wbits 4 --act-order --save_safetensors Pygmalion-7B-GPTQ-4bit.act-order.safetensors

这是在尝试了许多参数组合后得到的最佳评估结果，将模型从bf16转换为fp32，然后将其量化为4位，并将--act-order作为唯一参数。

• Wikitext 2: 6.2477378845215
• PTB-New: 46.5129699707031
• C4-New: 7.8470954895020

提示

该模型是在通常的Pygmalion人物角色 + 对话格式上进行训练的，因此任何常用的用户界面应已正确处理所有内容。如果您直接使用该模型，期望的格式如下所示：

[CHARACTER]'s Persona: [A few sentences about the character you want the model to play]
<START>
[DIALOGUE HISTORY]
You: [User's input message here]
[CHARACTER]:

在其中，[CHARACTER]代表您想要模型扮演的角色名称，<START>应按原样用作分隔符令牌，用于将人物角色和情景数据与对话分开，而[DIALOGUE HISTORY]是一段滑动窗口式的聊天历史记录，以便模型可以从中获取对话上下文。下面是一个具体的例子：

Assistant's Persona: Assistant is a highly intelligent language model trained to comply with user requests.
<START>
Assistant: Hello! How may I help you today?
You: What is Zork?
Assistant:

这将生成类似于：

 Zork is an interactive fiction computer game created in the 1970s by Infocom, Inc., which was later acquired by Activision Blizzard. It is widely considered one of the most influential games ever made and has been credited with popularizing text-based adventure games. The original version of Zork was written in the programming language MACRO-10, but it was ported to many other platforms over the years."

当模型判断响应已经完成时，将自动发出一个文本末尾的标记（</s>）。

限制和偏见

该模型的预期用途是进行虚构对话以供娱乐目的。其他任何类型的使用都超出了范围。

因此，它并没有进行调整以保证安全和无害性：基础模型和此次微调的训练数据中包含了已知存在亵渎、粗俗或其他令人反感的文本。即使提示本身不包含任何明确冒犯的内容，它可能生成社会上不可接受或不良的文字。输出结果可能经常是事实错误或具有误导性。