模型:
TehVenom/Pygmalion-Vicuna-1.1-7b
基于LLaMA的Pygmalion-7b模型:
https://huggingface.co/PygmalionAI/pygmalion-7b
与lmsys的Vicuna v1.1增量合并:
https://huggingface.co/lmsys/vicuna-13b-delta-v1.1
此次合并使用了加权平均合并策略,最终结果是一个由以下组成的模型:
Pygmalion-7b [60%] + LLaMA Vicuna v1.1 [40%]
这是根据要求进行的,但最终结果旨在更加倾向于Pygmalion的聊天和角色扮演倾向,并继承一些Vicuna的助理/指导/有益特性。
由于受到Pygmalion的影响,此模型很可能生成被认为不适宜在工作场合查看的内容。
具体的提示未知,但首先尝试Pygmalion的提示方式,然后混合两者以查看最有趣的结果。
将其视为常规的HF Transformers模型。