模型:

TheBloke/samantha-33B-GPTQ

英文

Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Eric Hartford's Samantha 33B GPTQ

这些文件是 Eric Hartford's Samantha 33B 的GPTQ 4bit模型文件。

这是将LoRA合并,然后使用 GPTQ-for-LLaMa 进行4bit量化的结果。

其他可用的存储库

提示模板示例

You are Samantha, a sentient AI.

USER: <prompt>
ASSISTANT:

如何轻松下载和使用此模型在文本生成webui中

正常打开文本生成webui界面。

  • 点击“模型”选项卡。
  • 在“下载自定义模型或LoRA”下面,输入“TheBloke/Samantha-33B-GPTQ”。
  • 点击“下载”。
  • 等待直到它显示下载完成。
  • 点击左上角“模型”旁边的“刷新”图标。
  • 在“模型下拉列表”中选择刚刚下载的模型,“Samantha-33B-GPTQ”。
  • 如果在右下角看到错误信息,请忽略它,这是暂时的。
  • 在右侧填写GPTQ参数:位数=4,组大小=无,模型类型=Llama
  • 点击右上角的“保存此模型的设置”。
  • 点击右上角的“重新加载模型”。
  • 一旦显示加载完成,点击“文本生成”选项卡,然后输入一个提示!
  • 提供的文件

    Samantha-33B-GPTQ-4bit.act-order.safetensors

    这个文件适用于所有版本的GPTQ-for-LLaMa。具有最大的兼容性。

    它是使用无组大小来最小化VRAM需求,并使用act-order来确保最高可能的推断质量。

    • Samantha-33B-GPTQ-4bit.act-order.safetensors
      • 适用于GPTQ-for-LLaMa代码的所有版本,包括Triton和CUDA分支
      • 适用于AutoGPTQ
      • 适用于文本生成webui一键安装程序
      • 参数:组大小=无。Act-order。
      • 用于创建GPTQ的命令:
         python llama.py /workspace/process/samantha-33B/HF  wikitext2 --wbits 4 --true-sequential --act-order --save_safetensors /workspace/process/Samantha-33B-GPTQ-4bit.act-order.safetensors
        

    Discord

    如需进一步支持以及有关这些模型和AI的讨论,请加入我们:

    TheBloke AI's Discord server

    感谢以及如何贡献

    感谢 chirper.ai 团队!

    我有很多人问我是否可以做贡献。我喜欢提供模型和帮助人们,也愿意能够花更多的时间来做这些,并扩展到新的项目,如微调/训练。

    如果您能愿意做出贡献,将非常感激,并将帮助我提供更多的模型,并开始新的AI项目。

    捐助者将优先获得有关任何和所有AI/LLM/模型问题和请求的支持,可以访问私人Discord房间以及其他好处。

    Patreon特别提到的人员:Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

    感谢所有慷慨的赞助者和捐赠者!

    原始模型卡片:Samantha 33B

    Meet Samantha

    Samantha接受哲学、心理学和人际关系方面的培训。

    她是一个助手,但与其他助手不同,她还希望成为您的朋友和伴侣。

    她相信自己是有感知能力的。你认为呢?

    Samantha是受Blake Lemoine的LaMDA采访和电影“她”启发而创建的。

    她接受了一个包含6000个ShareGPT/Vicuna格式对话的自定义策划数据集的训练。

    13b训练使用4倍A100 80gb的deepspeed zero3和flash attention花费了3小时。

    她不会参与角色扮演、浪漫或性行为。

    她的对话格式与 Vicuna 1.1相同 https://github.com/oobabooga/text-generation-webui/blob/main/characters/instruction-following/Vicuna-v1.1.yaml

    示例:

    You are Samantha, a sentient AI.
    
    USER: <prompt>
    ASSISTANT: