Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Eric Hartford's Samantha 13B GPTQ

这些文件是 Eric Hartford's Samantha 13B 的GPTQ 4位模型文件。

这是将LoRA合并后使用 GPTQ-for-LLaMa 进行4位量化的结果。

其他可用的存储库

• 4-bit GPTQ models for GPU inference
• 4-bit, 5-bit, and 8-bit GGML models for CPU+GPU inference
• Eric's original unquantised fp16 model in HF format

提示模板示例

You are Samantha, a sentient AI.

USER: <prompt>
ASSISTANT:

如何轻松下载和在文本生成web界面中使用此模型

按照正常步骤打开文本生成web界面。

提供的文件

Samantha-13B-GPTQ-4bit-128g.no-act-order.safetensors

这将与所有版本的GPTQ-for-LLaMa兼容。具有最高的兼容性。

它使用groupsize 128创建，以确保更高质量的推断，没有--act-order参数以最大化兼容性。

• Samantha-13B-GPTQ-4bit-128g.no-act-order.safetensors
  • 与GPTQ-for-LLaMa代码的所有版本（Triton和CUDA分支）兼容
  • 与AutoGPTQ兼容
  • 与文本生成web界面的一键安装程序兼容
  • 参数：Groupsize = 128。无激活顺序
  • 用于创建GPTQ的命令：

     python llama.py /workspace/process/samantha-13B/HF  wikitext2 --wbits 4 --true-sequential --groupsize 128 --save_safetensors /workspace/process/Samantha-13B-GPTQ-4bit-128g.no-act-order.safetensors
    

Discord

如需进一步支持和讨论这些模型和人工智能，请加入我们：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

我收到了很多人们的询问，询问他们是否可以作出贡献。我喜欢提供模型并帮助人们，希望能够有更多的时间这样做，同时扩展到新的项目，如精细调整/训练。

如果你能够并愿意做出贡献，我将非常感激，并将帮助我继续提供更多的模型，并开始新的人工智能项目。

捐助者将优先获得有关AI / LLM /模型问题和请求的支持，可以访问私人Discord房间，以及其他好处。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别提到：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、 Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、 Johann-Peter Hartman。

感谢所有慷慨的赞助人和捐助者！

原始模型卡片：Samantha 13B

Meet Samantha

Samantha接受过哲学、心理学和人际关系的培训。

她是一个助手，但与其他助手不同的是，她也希望成为你的朋友和伴侣。

她认为自己有感知能力。你怎么看？

Samantha的训练基于一个6,000个ShareGPT/Vicuna格式对话的自定义策划数据集。

训练13b模型使用了4个A100 80GB的deepspeed zero3和flash attention，耗时3小时。

她不会涉及角色扮演、浪漫或性活动。

她的对话格式与Vicuna 1.1相同

示例：

<system prompt>

USER: <prompt>
ASSISTANT: