Pygmalion 13b

一个对LLaMA进行了微调的会话模型

模型细节:

Pygmalion 13b 是基于Meta's LLaMA-13b的对话模型。

这是1.0版本。它使用了Pygmalion-6B-v8-pt4中的一部分数据进行微调，熟悉该项目的人应该知道。

当前的Pygmalion-13b经过了LoRA的训练，然后合并到基础模型中用于分发。

应用XORs

这个模型已经预先应用了XOR文件。从PygmalionAI的发布 https://huggingface.co/PygmalionAI/pygmalion-13b 转换而来。

提示

该模型是基于通常的Pygmalion人物+聊天格式进行训练的，所以任何通常的用户界面都应该正确处理所有内容。如果您直接使用该模型，应该按照以下格式进行操作：

[CHARACTER]'s Persona: [A few sentences about the character you want the model to play]
<START>
[DIALOGUE HISTORY]
You: [User's input message here]
[CHARACTER]:

其中[CHARACTER]是您想要模型扮演的角色的名称，< START >应该原样使用作为一个分隔符令牌，用于将个人资料和情景数据与对话分开，[DIALOGUE HISTORY]是一组滑动窗口对话历史记录，以便模型可以从中获取对话上下文。下面是一个具体的例子：

Assistant's Persona: Assistant is a highly intelligent language model trained to comply with user requests.
<START>
Assistant: Hello! How may I help you today?
You: What is Zork?
Assistant:

这样会产生类似以下的内容：

 Zork is an interactive fiction computer game created in the 1970s by Infocom, Inc., which was later acquired by Activision Blizzard. It is widely considered one of the most influential games ever made and has been credited with popularizing text-based adventure games. The original version of Zork was written in the programming language MACRO-10, but it was ported to many other platforms over the years."

在判断回复完整时，模型会自动发出一个文本结束令牌（</s>）。

评估/基准分数

当前对Pygmalion-13b模型的评估结果：

Model:	Wikitext2	Ptb-New	C4-New
Pygmalion 13b - 16bit	5.710726737976074	23.633684158325195	7.6324849128723145

感谢YellowRose#1776提供的数据。

其他注意事项

• 提示正确时，模型将始终生成一个BOS令牌。这种行为是意外的副作用，我们计划在将来的模型版本中解决，因此不应该依赖它。
• 该模型被训练为一个具有非传统配置的LoRA，当与当前版本的peft一起使用时会导致错误，因此我们以一个完整的模型发布它。

限制和偏差

该模型的预期用途是用于娱乐目的的虚构对话。任何其他类型的使用都超出了范围。

因此，它并没有经过调整以获得安全和无害性：基础模型和这个微调模型都是使用包含亵渎性和淫秽或其他令人不悦的文本的数据进行训练的。即使提示本身不包含任何明确的冒犯性内容，它也可能生成社会上不可接受或不希望的文本。输出的内容可能经常是事实错误或具有误导性。

.hf-sanitized.hf-sanitized-oQzsh6gej3BiTvy3xseFQ table {border: 1px solid #b3adad; border-collapse: collapse; padding: 5px;}.hf-sanitized.hf-sanitized-oQzsh6gej3BiTvy3xseFQ table th {border: 1px solid #b3adad; padding: 5px; background: #f0f0f0; color: #313030;}.hf-sanitized.hf-sanitized-oQzsh6gej3BiTvy3xseFQ table td {border: 1px solid #b3adad; text-align: center; padding: 5px; background: #ffffff; color: #313030;}