模型:

TheBloke/WizardLM-13B-V1.0-Uncensored-GPTQ

许可:

other

其他:

text-generation-inference llama

语言:

数据集:

3Aehartford/WizardLM_evol_instruct_V2_196k_unfiltered_merged_split

类库:

Transformers

任务:

文本生成

模型介绍文件清单

英文

Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Eric Hartford's WizardLM-13b-V1.0-Uncensored GPTQ

这些文件是用于 Eric Hartford's WizardLM-13b-V1.0-Uncensored 的GPTQ模型文件。

提供了多个GPTQ参数的排列方式；有关所提供选项、参数和创建它们的软件的详细信息，请参阅下面的提供的文件。

这些模型是使用 Latitude.sh 提供的硬件进行量化的。

可用的仓库

Vicuna的提示模板

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.

USER: {prompt}
ASSISTANT:

提供的文件

提供了多个量化参数，以便您根据硬件和需求选择最佳参数。

每个独立的量化存在于不同的分支中。请参阅下面的说明以获取不同分支的下载方法。

Branch	Bits	Group Size	Act Order (desc_act)	File Size	ExLlama Compatible?	Made With	Description
main	4	128	False	7.45 GB	True	GPTQ-for-LLaMa	Most compatible option. Good inference speed in AutoGPTQ and GPTQ-for-LLaMa. Lower inference quality than other options.
gptq-4bit-32g-actorder_True	4	32	True	8.00 GB	True	AutoGPTQ	4-bit, with Act Order and group size. 32g gives highest possible inference quality, with maximum VRAM usage. Poor AutoGPTQ CUDA speed.
gptq-4bit-64g-actorder_True	4	64	True	7.51 GB	True	AutoGPTQ	4-bit, with Act Order and group size. 64g uses less VRAM than 32g, but with slightly lower accuracy. Poor AutoGPTQ CUDA speed.
gptq-4bit-128g-actorder_True	4	128	True	7.26 GB	True	AutoGPTQ	4-bit, with Act Order and group size. 128g uses even less VRAM, but with slightly lower accuracy. Poor AutoGPTQ CUDA speed.
gptq-8bit--1g-actorder_True	8	None	True	13.36 GB	False	AutoGPTQ	8-bit, with Act Order. No group size, to lower VRAM requirements and to improve AutoGPTQ speed.
gptq-8bit-128g-actorder_False	8	128	False	13.65 GB	False	AutoGPTQ	8-bit, with group size 128g for higher inference quality and without Act Order to improve AutoGPTQ speed.

如何从分支中下载

在text-generation-webui中，您可以在下载名称的末尾添加：branch，例如TheBloke/WizardLM-13B-V1.0-Uncensored-GPTQ:gptq-4bit-32g-actorder_True。
使用Git，您可以使用以下命令克隆一个分支:

git clone --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/WizardLM-13B-V1.0-Uncensored-GPTQ`

在Python Transformers代码中，分支就是revision参数；请参见下面的说明。

如何轻松下载并在 text-generation-webui 中使用该模型。

请确保您正在使用最新版本的 text-generation-webui 。

强烈推荐使用text-generation-webui的一键安装程序，除非您知道如何进行手动安装。

点击模型选项卡。

在下载自定义模型或LoRA下，输入TheBloke/WizardLM-13B-V1.0-Uncensored-GPTQ。

要从特定分支下载，请输入例如TheBloke/WizardLM-13B-V1.0-Uncensored-GPTQ:gptq-4bit-32g-actorder_True。
有关每个选项的分支列表，请参见上面的提供的文件。

点击下载。

模型开始下载。完成后，会显示“完成”。

在左上角，单击“模型”旁边的刷新图标。

在“模型”下拉菜单中，选择刚刚下载的模型：WizardLM-13B-V1.0-Uncensored-GPTQ

模型将自动加载，现在可以使用了！

如果您需要任何自定义设置，请进行设置，然后依次单击“为此模型保存设置”和右上方的“重新加载模型”。

请注意，您不需要再设置GPTQ参数。这些参数将从quantize_config.json文件中自动设置。

准备好后，点击“文本生成”选项卡，然后输入提示以开始！

如何使用Python代码中的GPTQ模型

首先确保您已安装了 AutoGPTQ ：

GITHUB_ACTIONS=true pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

model_name_or_path = "TheBloke/WizardLM-13B-V1.0-Uncensored-GPTQ"
model_basename = "wizardlm-13b-v1.0-uncensored-GPTQ-4bit-128g.no-act.order"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

"""
To download from a specific branch, use the revision parameter, as in this example:

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        revision="gptq-4bit-32g-actorder_True",
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        quantize_config=None)
"""

prompt = "Tell me about AI"
prompt_template=f'''A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.

USER: {prompt}
ASSISTANT:
'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

兼容性

提供的文件适用于AutoGPTQ（CUDA和Triton模式）、GPTQ-for-LLaMa（仅测试了CUDA版本）和Occ4m的GPTQ-for-LLaMa分支。

ExLlama适用于4位Llama模型。有关每个文件的兼容性，请参见上面提供的文件表格。

Discord

如需进一步支持以及有关这些模型和人工智能的讨论，请加入我们：

TheBloke AI's Discord server

致谢以及如何做出贡献。

感谢 chirper.ai 团队的支持！

有很多人问我他们是否可以做出贡献。我喜欢提供模型并帮助人们，也愿意能够花更多的时间在这上面，以及扩展到新的项目，如精细调整/训练。

如果您能够并愿意做出贡献，我将非常感激，并将有助于我继续提供更多的模型，并开始新的人工智能项目。

捐赠者将在任何与人工智能/LLM/模型相关的问题和请求上获得优先支持，可以访问私人Discord房间，以及其他福利。

Patreon： https://patreon.com/TheBlokeAI
Ko-Fi： https://ko-fi.com/TheBlokeAI

特别感谢：来自CarbonQuill的Luke，Aemon Algiz。

Patreon特别提到：Space Cruiser，Nikolai Manek，Sam，Chris McCloskey，Rishabh Srivastava，Kalila，Spiking Neurons AB，Khalefa Al-Ahmad，WelcomeToTheClub，Chadd，Lone Striker，Viktor Bowallius，Edmond Seymore，Ai Maven，Chris Smitley，Dave，Alexandros Triantafyllidis，Luke @flexchar，Elle，ya boyyy，Talal Aujan，Alex，Jonathan Leane，Deep Realms，Randy H，subjectnull，Preetika Verma，Joseph William Delisle，Michael Levine，chris gileta，K，Oscar Rangel，LangChain4j，Trenton Dambrowitz，Eugene Pentland，Johann-Peter Hartmann，Femi Adebogun，Illia Dulskyi，senxiiz，Daniel P. Andersen，Sean Connelly，Artur Olbinski，RoA，Mano Prime，Derek Yates，Raven Klaugh，David Flickinger，Willem Michiel，Pieter，Willian Hasse，vamX，Luke Pendergrass，webtim，Ghost，Rainer Wilmers，Nathan LeClaire，Will Dee，Cory Kujawski，John Detwiler，Fred von Graf，biorpg，Iucharbius，Imad Khwaja，Pierre Kircher，terasurfer，Asp the Wyvern，John Villwock，theTransient，zynix，Gabriel Tamborski，Fen Risland，Gabriel Puliatti，Matthew Berman，Pyrater，SuperWojo，Stephen Murray，Karl Bernard，Ajan Kanaga，Greatston Gnanesh，Junyu Yang。

感谢所有慷慨的赞助人和捐赠者！

原始模型卡片：Eric Hartford's WizardLM-13b-V1.0-Uncensored

这是使用 https://huggingface.co/WizardLM/WizardLM-13B-V1.0 经过筛选的数据集进行重新训练的模型，旨在减少拒绝、回避和偏见。

请注意，LLaMA本身具有固有的伦理信念，因此不存在“真正无审查”的模型。但是，该模型将比WizardLM/WizardLM-7B-V1.0更合规。

向开源AI/ML社区和帮助过我的所有人致以敬意。

注意：无审查的模型没有任何防护措施。您对模型的任何行为负有责任，就像对刀具、枪支、打火机或汽车等危险物品负责一样。将模型生成的任何内容发布与您自己发布它没有任何区别。您对所发布的内容负有责任，无论是对模型还是对刀具、枪支、打火机或汽车负有责任。

与WizardLM/WizardLM-13B-V1.0一样，该模型是使用Vicuna-1.1风格的提示进行训练的。

You are a helpful AI assistant.

USER: <prompt>
ASSISTANT:

感谢 chirper.ai 赞助部分计算资源！

作者:

Tom Jobbins

数据集大小:

6.95 GB