gpt4-x-vicuna-13B-GPTQ

This repo contains 4bit GPTQ format quantised models of NousResearch's gpt4-x-vicuna-13b .

It is the result of quantising to 4bit using GPTQ-for-LLaMa .

Repositories available

如何快速下载和使用该模型在text-generation-webui

正常打开text-generation-webui UI。

点击 Model 标签。

在 Download custom model or LoRA 下，输入 TheBloke/gpt4-x-vicuna-13B-GPTQ 。

点击 Download 。

等待直到下载完成。

点击左上角 Model 旁边的 Refresh 图标。

在 Model 选择框中，选择刚刚下载的模型 gpt4-x-vicuna-13B-GPTQ 。

如果在右下方看到错误信息，请忽略它 - 这是暂时的。

在右侧填写 GPTQ 参数： Bits = 4 ， Groupsize = 128 ， model_type = Llama

点击右上方的 Save settings for this model 保存模型设置。

点击右上方的 Reload the Model 。

一旦加载完成，点击 Text Generation 标签，并输入提示！

提供的文件

Compatible file - GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors

在 main 分支 - 默认分支 - 您将找到 GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors

它适用于所有版本的 GPTQ-for-LLaMa 。它具有最大的兼容性

它是在没有 --act-order 参数的情况下创建的。与其他文件相比，它可能具有稍低的推理质量，但保证在所有版本的GPTQ-for-LLaMa和text-generation-webui上运行。

GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors
- 适用于所有版本的GPTQ-for-LLaMa代码，包括Triton和CUDA分支
- 可与文本生成网络用户界面一键安装程序一起使用
- 参数：Groupsize = 128g。无 act-order。
- 创建GPTQ使用的命令：
```
CUDA_VISIBLE_DEVICES=0 python3 llama.py GPT4All-13B-snoozy c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors
```

Discord

如需进一步支持和讨论这些模型和人工智能，请加入我们的 Discord ：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

我收到很多人的询问是否可以做贡献。我喜欢提供模型和帮助用户，并且很乐意能够花更多时间提供支持，并扩展到新的项目，如微调/训练。

如果您能够并愿意做出贡献，我将非常感激，并将帮助我继续提供更多模型，并开始进行新的人工智能项目。

捐赠者将享受优先支持，涵盖所有人工智能/LLM/模型问题和请求，并获得进入私人 Discord 房间和其他福利的权限。

Patreon: https://patreon.com/TheBlokeAI
Ko-Fi: https://ko-fi.com/TheBlokeAI

Patreon 特别感谢：Aemon Algiz, Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman.

感谢所有慷慨的赞助者和捐赠者！