Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

WizardLM - uncensored: 使用 Evol-Instruct 进行指令跟踪的 LLM

这些文件是用于 Eric Hartford's 'uncensored' version of WizardLM 的 GPTQ 4 位模型文件。

这是使用 GPTQ-for-LLaMa 进行 4 位量化的结果。

Eric 使用 WizardLM 方法对 a dataset edited to remove all the "I'm sorry.." type ChatGPT responses 进行了全新的 7B 训练。

其他可用的存储库

• 4bit GPTQ models for GPU inference
• 4bit and 5bit GGML models for CPU inference
• Eric's unquantised model in HF format

如何轻松下载和使用此模型进行文本生成

正常打开文本生成 WebUI。

提供的文件

兼容文件 - WizardLM-7B-uncensored-GPTQ-4bit-128g.compat.no-act-order.safetensors

在“main”分支 - 默认分支 - 中，您将找到“WizardLM-7B-uncensored-GPTQ-4bit-128g.compat.no-act-order.safetensors”

这将适用于所有版本的 GPTQ-for-LLaMa。它具有最大的兼容性。

它是在没有“--act-order”参数的情况下创建的。与其他文件相比，它可能具有稍低的推理质量，但保证适用于所有版本的 GPTQ-for-LLaMa 和文本生成 WebUI。

• wizard-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors
  • 适用于 GPTQ-for-LLaMa 代码的所有版本，包括 Triton 和 CUDA 分支
  • 适用于文本生成 WebUI 的一键安装程序
  • 参数：组大小=128g。无动作顺序。
  • 用于创建 GPTQ 的命令：

    python llama.py models/ehartford_WizardLM-7B-Uncensored c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors /workspace/eric-gptq/WizardLM-7B-uncensored-GPTQ-4bit-128g.compat.no-act-order.safetensors
    

Discord

如需进一步支持和讨论这些模型和AI，加入我们：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

我收到很多人询问是否可以贡献。我喜欢提供模型并帮助人们，非常感激您的贡献，将使我能够花更多时间提供更多模型，并开始新的Fine Tuning/Training等AI项目。

如果您有能力和意愿贡献，将非常感激，并且将帮助我继续提供更多模型，并开始新的AI项目。

捐赠者将优先获得关于AI/LLM/模型问题和请求的支持，可以访问私人Discord房间，以及其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

特别感谢我的慷慨捐赠者和赞助者！

Eric的原始模型卡片

这是WizardLM训练的子数据集 - 删除了包含对齐/道德化的回答。目的是训练一个没有内置对齐的WizardLM，可以单独添加任何类型的对齐，例如使用RLHF LoRA。

向开源AI/ML社区和所有帮助过我的人致敬，包括Rohan、TheBloke和Caseus。

WizardLM的原始模型卡片

Evol-InstructEvol-Instruct 是一种使用LLM而不是人类自动批量生产各种难度水平和技能范围的开放域指令的新方法，以提高LLM的性能。