Metharme 7B

针对虚构写作和对话而调整的指导型LLaMA模型。

模型详情：

由PygmalionAI的版本 https://huggingface.co/PygmalionAI/metharme-7b 的XOR权重转换而来。

Metharme 7B是基于Meta的LLaMA-7B的指导型模型。

这是一个实验，旨在获得一个适用于对话、角色扮演和故事写作的模型，但可以像其他指导型模型那样使用自然语言进行引导。查看下面的提示部分以获取示例。

它通过在常规指导数据和合成生成的指导附加的角色扮演、虚构故事和对话之间进行有监督的微调来进行训练。

提示

当前的模型版本是根据三种不同角色的提示进行训练的，这些角色由以下标记表示：<|system|>，<|user|>和<|model|>。

<|system|>提示可以用于在幕后注入场外信息，而<|user|>提示应该用于指示用户输入。然后，应该使用<|model|>标记来指示模型生成回应。这些标记可以多次出现，并且可以链接起来形成一次对话历史。

提示示例

这里有一个具体的示例。假设您有以下系统提示：

这是一个文字冒险游戏。向用户描述情景，并在每个回合给他三个选择。

用户已经输入了以下消息：

开始！

要对模型进行推理，提示应该格式化如下：

<|system|>This is a text adventure game. Describe the scenario to the user and give him three options to pick from on each turn.<|user|>Start!<|model|>

模型可能会生成类似以下内容：

你站在一座古老的废弃房子前。窗户被钉上了，周围没有生命的迹象。当你靠近时，你注意到里面散发出一种奇怪的感觉。突然，你听到一个声音在呼唤你...“进来吧！”

• 进入房子。
• 忽略呼叫并离开。
• 尽快逃走。

当模型判断回应完成时，会自动输出结束的文本标记（</s>）。

接下来假设用户回复进去。下一个提示应该是：

<|system|>This is a text adventure game. Describe the scenario to the user and give him three options to pick from on each turn.<|user|>Start!<|model|>You are standing in front of an old, abandoned house. The windows are boarded up, and there's no sign of life around it. As you approach, you notice a strange feeling emanating from within. Suddenly, you hear a voice calling out to you... 'Come inside!'

- Go inside the house.
- Ignore the call and move away.
- Run as fast as you can.<|user|>go inside<|model|>

可能生成类似以下内容：

你走进房子，立刻，一股令人不安的能量涌上心头。你的感官似乎变得更敏锐，但你的思维感觉迷糊。一个人影出现在你面前——一个眼神锐利的高个子男人。他用你听不懂的语言和你说话。

• 问他想要什么。
• 攻击他。
• 逃跑。

同样的过程适用。通常，最好在用户和模型回合之间进行滑动窗口，但保持系统提示在上下文窗口的开始位置不变。

限制和偏见

该模型的预期用例是用于娱乐目的的虚构写作。其他任何形式的使用都超出范围。

因此，它没有经过细致调整以确保安全和无害：基本模型和此次微调是基于已知包含亵渎性和淫秽或其他冒犯性文本的数据进行训练的。即使提示本身不包含任何明确冒犯性的内容，它可能生成社会上不可接受或不希望的文本。输出的内容可能经常是事实上错误或具有误导性的。