Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

StableVicuna-13B-GPTQ

这个存储库包含了对 CarperAI's StableVicuna 13B 进行了4位GPTQ格式量化的模型。

首先将上述存储库中的增量与原始的 Llama 13B 权重进行了合并，然后使用 GPTQ-for-LLaMa 进行了4位量化。

可用的存储库

• 4bit GPTQ models for GPU inference 。
• 4-bit, 5-bit and 8-bit GGML models for CPU (+CUDA) inference 。
• Unquantised float16 model in HF format 。

PROMPT TEMPLATE

此模型在以下提示模板中效果最佳：

### Human: your prompt here
### Assistant:

如何轻松下载和在文本生成 WebUI 中使用这个模型

正常打开文本生成 WebUI UI。

提供的文件

我已经上传了GPTQ的两个版本。

兼容文件 - stable-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors

在 main 分支中 - 默认版本 - 您将找到 stable-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors

这适用于所有GPTQ-for-LLaMa版本。它具有最大的兼容性

它是在没有 --act-order 参数的情况下创建的。与其他文件相比，它可能具有稍低的推理质量，但保证在所有GPTQ-for-LLaMa和文本生成 WebUI 版本上工作。

• stable-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors
  • 适用于GPTQ-for-LLaMa代码的所有版本，包括 Triton 和 CUDA 分支
  • 适用于文本生成 WebUI 的一键安装程序
  • 参数：Groupsize = 128g. 无 act-order
  • 用于创建 GPTQ 的命令：

    CUDA_VISIBLE_DEVICES=0 python3 llama.py stable-vicuna-13B-HF c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors stable-vicuna-13B-GPTQ-4bit.no-act-order.safetensors
    

最新文件 - stable-vicuna-13B-GPTQ-4bit.latest.act-order.safetensors

为最近版本的 GPTQ-for-LLaMa 创建，并使用 --act-order 标志以达到最大的理论性能。

要访问此文件，请切换到此存储库的 latest 分支并从那里下载。

• stable-vicuna-13B-GPTQ-4bit.latest.act-order.safetensors
  • 仅适用于最新的 GPTQ-for-LLaMa 代码
  • 不适用于文本生成 WebUI 的一键安装程序
  • 参数：Groupsize = 128g. act-order 。
  • 提供最高质量的量化，但需要使用最新的 GPTQ-for-LLaMa 代码
  • 用于创建 GPTQ 的命令：

    CUDA_VISIBLE_DEVICES=0 python3 llama.py stable-vicuna-13B-HF c4 --wbits 4 --true-sequential --act-order --groupsize 128 --save_safetensors stable-vicuna-13B-GPTQ-4bit.act-order.safetensors
    

文本生成 WebUI 的手动说明

文件 stable-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors 可以像其他 GPTQ 文件一样加载，不需要对 oobaboogas text-generation-webui 进行任何更新。

Instructions on using GPTQ 4bit files in text-generation-webui are here 。

另一个 safetensors 模型文件是使用 --act-order 创建的，以提供可能的最高量化质量，但这意味着需要在 UI 中使用最新的 GPTQ-for-LLaMa。

如果要使用 act-order safetensors 文件并需要更新 GPTQ-for-LLaMa 的 Triton 分支，请按照以下命令克隆 Triton 分支的 GPTQ-for-LLaMa ，克隆文本生成 WebUI ，并将 GPTQ 安装到 UI 中：

# Clone text-generation-webui, if you don't already have it
git clone https://github.com/oobabooga/text-generation-webui
# Make a repositories directory
mkdir text-generation-webui/repositories
cd text-generation-webui/repositories
# Clone the latest GPTQ-for-LLaMa code inside text-generation-webui
git clone https://github.com/qwopqwop200/GPTQ-for-LLaMa

然后将此模型安装到 text-generation-webui/models 中，并按以下方式启动 UI：

cd text-generation-webui
python server.py --model stable-vicuna-13B-GPTQ --wbits 4 --groupsize 128 --model_type Llama # add any other command line args you want

以上命令假定您已安装了 GPTQ-for-LLaMa 和文本生成 WebUI 的所有依赖项。有关详细信息，请参阅它们各自的存储库。

如果无法更新 GPTQ-for-LLaMa 或不想更新，可以使用如上所述的 stable-vicuna-13B-GPTQ-4bit.no-act-order.safetensors ，它应该可以在不升级文本生成 WebUI 的情况下正常工作。

Discord

如需进一步支持或讨论有关这些模型和人工智能的问题，请加入我们的 Discord ：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

我已经有很多人问我是否可以做出贡献。我喜欢提供模型并帮助人们，而且很乐意能够花更多时间提供支持，并扩展到像微调/训练之类的新项目。

如果您有能力和意愿提供贡献，我会非常感激，并且这将帮助我继续提供更多模型，并开始新的AI项目。

捐赠者将优先获得有关所有 AI / LLM / 模型问题和请求的支持，可以访问私人 Discord 房间，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

Patreon 特别提及：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

感谢所有慷慨的 Patreon 和捐赠者！

原始 StableVicuna-13B 模型卡片

模型描述

StableVicuna-13B 是通过 Proximal Policy Optimization (PPO) 在各种对话和教学数据集上使用强化学习从人类反馈 (RLHF) 进行微调的 Vicuna-13B v0 模型。

模型详细信息

• 训练者 : Duy Phung of CarperAI
• 模型类型: StableVicuna-13B 是基于 LLaMA transformer 架构的自回归语言模型。
• 语言 : 英语
• 库 : trlX
• Delta 权重的许可证 : CC-BY-NC-SA-4.0
  • 注意 : 基本 LLaMA 模型的权重许可证是 Meta的 non-commercial bespoke license .
• 联系方式 : 如有关于模型的问题和评论，请访问 CarperAI 和 StableFoundation 的 Discord 服务器。

训练

训练数据集

StableVicuna-13B 在三个数据集的混合中进行微调。 OpenAssistant Conversations Dataset (OASST1) ，一个由人类生成、人类注释的助手式对话语料库，包含66,497个对话树中的161,443条消息，涵盖了35种不同的语言； GPT4All Prompt Generations ，由 GPT-4 生成的400k个提示和回答的数据集；以及 Alpaca ，由OpenAI的 text-davinci-003 引擎生成的52,000个说明和演示的数据集。

在 RLHF 过程中使用的奖励模型也是在 OpenAssistant Conversations Dataset (OASST1) 上训练的，还使用了其他两个数据集： Anthropic HH-RLHF ，一个关于 AI 助手的有助益和无害性的偏好数据集；以及 Stanford Human Preferences Dataset ，一个包含18个不同主题领域的385,000个人类对于问题/指令回答的集体偏好数据集，涉及烹饪到法律咨询等领域。

训练过程

CarperAI/stable-vicuna-13b-delta 使用 PPO 进行训练，使用配置如下的 trlX 实现：

使用和限制

预期用途

该模型适用于以对话任务为重点的文本生成。用户可以根据非商业许可证的要求，进一步在自己的数据上对模型进行微调，以提高模型在特定任务上的性能。

限制和偏见

基本的 LLaMA 模型是基于各种数据进行训练的，其中一些数据可能包含冒犯性、有害和有偏见的内容，可能导致有害行为。请参阅 LLaMA paper 的第5.1节。我们没有进行任何研究来确定对上述数据集进行微调对模型行为和毒性的影响。不要将该模型产生的聊天回复视为人类判断的替代品或真实信息的来源。请负责任地使用。

致谢

感谢 Stability AI 的支持。

引用

@article{touvron2023llama,
  title={LLaMA: Open and Efficient Foundation Language Models},
  author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{\'e}e and Rozi{\`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
  journal={arXiv preprint arXiv:2302.13971},
  year={2023}
}

@misc{vicuna2023,
    title = {Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality},
    url = {https://vicuna.lmsys.org},
    author = {Chiang, Wei-Lin and Li, Zhuohan and Lin, Zi and Sheng, Ying and Wu, Zhanghao and Zhang, Hao and Zheng, Lianmin and Zhuang, Siyuan and Zhuang, Yonghao and Gonzalez, Joseph E. and Stoica, Ion and Xing, Eric P.},
    month = {March},
    year = {2023}
}

@misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/nomic-ai/gpt4all}},
}

@misc{alpaca,
  author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
  title = {Stanford Alpaca: An Instruction-following LLaMA model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/tatsu-lab/stanford_alpaca}},
}

@software{leandro_von_werra_2023_7790115,
  author       = {Leandro von Werra and
                  Alex Havrilla and
                  Max reciprocated and
                  Jonathan Tow and
                  Aman cat-state and
                  Duy V. Phung and
                  Louis Castricato and
                  Shahbuland Matiana and
                  Alan and
                  Ayush Thakur and
                  Alexey Bukhtiyarov and
                  aaronrmm and
                  Fabrizio Milo and
                  Daniel and
                  Daniel King and
                  Dong Shin and
                  Ethan Kim and
                  Justin Wei and
                  Manuel Romero and
                  Nicky Pochinkov and
                  Omar Sanseviero and
                  Reshinth Adithyan and
                  Sherman Siu and
                  Thomas Simonini and
                  Vladimir Blagojevic and
                  Xu Song and
                  Zack Witten and
                  alexandremuzio and
                  crumb},
  title        = {{CarperAI/trlx: v0.6.0: LLaMa (Alpaca), Benchmark
                   Util, T5 ILQL, Tests}},
  month        = mar,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v0.6.0},
  doi          = {10.5281/zenodo.7790115},
  url          = {https://doi.org/10.5281/zenodo.7790115}
}