Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

WizardLM的WizardLM 30B v1.0 GPTQ

这些文件是用于 WizardLM's WizardLM 30B v1.0 的GPTQ 4位模型文件。

这是使用 GPTQ-for-LLaMa 进行4位量化的结果。

其他可用的存储库

• 4-bit GPTQ models for GPU inference
• 4-bit, 5-bit and 8-bit GGML models for CPU(+GPU) inference
• Unquantised fp16 model in pytorch format, for GPU inference and for further conversions

提示模板

A chat between a curious user and an artificial intelligence assistant.
The assistant gives helpful, detailed, and polite answers to the user's questions.
USER: prompt goes here
ASSISTANT:

如何轻松下载和使用此模型在文本生成WebUI中

下载模型

使用AutoGPTQ（如果安装了）

使用GPTQ-for-LLaMa

提供的文件

wizardlm-30b-GPTQ-4bit--1g.act.order.safetensors

这将适用于GPTQ-for-LLaMa的所有版本，以及AutoGPTQ。

它使用无组大小创建，以降低VRAM要求，并使用--act-order（desc_act）尽可能提高推理准确性。

• wizardlm-30b-GPTQ-4bit--1g.act.order.safetensors
  • 适用于GPTQ-for-LLaMa的所有版本代码，包括Triton和CUDA分支
  • 适用于AutoGPTQ
  • 适用于一键安装的text-generation-webui
  • 参数: Groupsize = -1。Act Order / desc_act = True。

Discord

如需进一步支持，并对这些模型和AI进行讨论，请加入我们：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

我已经有很多人问我是否可以做出贡献。我喜欢提供模型和帮助人们，也希望能够在此基础上投入更多时间，同时扩大到新的项目，如精细调整/训练。

如果您能够并愿意做出贡献，我将非常感激，并且这将帮助我继续提供更多模型，并开始进行新的AI项目。

捐赠者将优先获得对所有AI/LLM/模型问题和请求的支持，以及进入私人Discord房间和其他福利的机会。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢: CarbonQuill的Luke、Aemon Algiz、Dmitriy Samsonov。

Patreon特别提到: Ajan Kanaga、Kalila、Derek Yates、Sean Connelly、Luke、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、trip7s trip、Jonathan Leane、Talal Aujan、Artur Olbinski、Cory Kujawski、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Johann-Peter Hartmann。

感谢所有慷慨的赞助者和捐赠者！

原始模型卡片: WizardLM的WizardLM 30B v1.0

这是WizardLM-30B V1.0增量权重。

项目仓库: https://github.com/nlpxucan/WizardLM

注意: WizardLM-30B-V1.0 与 WizardLM-13B-V1.0 在对话开始时使用不同的提示 Wizard-7B-V1.0:

"一个好奇用户和人工智能助手之间的聊天。助手给出有帮助、详细和礼貌的回答。用户: 你好，你是谁？助手:"

"{instruction}\n\n### 回复:"