Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Kevin Pro的维库纳13B CoT GPTQ

这些文件是用于 Kevin Pro's Vicuna 13B CoT 的GPTQ 4位模型文件。

这是使用 GPTQ-for-LLaMa 进行4位量化的结果。

可用的存储库

• 4-bit GPTQ models for GPU inference
• 2, 3, 4, 5, 6 and 8-bit GGML models for CPU+GPU inference
• Unquantised fp16 model in pytorch format, for GPU inference and for further conversions

如何轻松下载和使用此模型在文本生成webui中

请确保您正在使用text-generation-webui的最新版本

点击 Model 选项卡 .

在 Download custom model or LoRA 下，输入 TheBloke/Vicuna-13B-CoT-GPTQ .

点击 Download .

模型开始下载。完成后将显示"完成"

在左上角，单击 Model 旁边的刷新图标。

在 Model 下拉菜单中，选择刚刚下载的模型： Vicuna-13B-CoT-GPTQ

模型将自动加载，现在可以使用了！

如果您想要任何自定义设置，请设置它们，然后点击 Save settings for this model ，接着在右上角点击 Reload the Model 。

• 请注意，您不再需要设置GPTQ参数。这些参数会自动从文件 quantize_config.json 中设置。

准备好后，点击 Text Generation 选项卡，并输入提示以开始！

如何使用Python代码中的GPTQ模型

首先确保已安装 AutoGPTQ ：

pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
import argparse

model_name_or_path = "TheBloke/Vicuna-13B-CoT-GPTQ"
model_basename = "vicuna-13b-cot-GPTQ-4bit-128g.no-act.order"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

prompt = "Tell me about AI"
prompt_template=f'''### Human: {prompt}
### Assistant:'''

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

提供的文件

vicuna-13b-cot-GPTQ-4bit-128g.no-act.order.safetensors

这将与AutoGPTQ和CUDA版本的GPTQ-for-LLaMa一起使用。有报道称最近的GPTQ-for-LLaMa Triton模式存在问题。如果有问题，请改用AutoGPTQ。

它是使用 group_size 为128创建的，以提高推理准确性，但不使用--act-order（desc_act）以增加兼容性并提高推理速度。

• vicuna-13b-cot-GPTQ-4bit-128g.no-act.order.safetensors
  • 适用于CUDA模式下的AutoGPTQ以及GPTQ-for-LLaMa。 可能在GPTQ-for-LLaMa Triton模式下存在问题。
  • 适用于text-generation-webui，包括一键安装程序。
  • 参数：Groupsize = 128. Act Order / desc_act = False.

Discord

如需进一步支持和讨论这些模型和AI，请加入以下群組：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

我有很多人询问是否可以做出贡献。我喜欢提供模型并帮助人们，并且很愿意能够更多地花时间做这些事情，以及扩展到像良好调优/训练等新项目。

如果您有能力和愿意做出贡献，我将非常感激，并将帮助我继续提供更多模型，并开始进行新的AI项目。

捐赠者将在任何AI/LLM/模型问题和请求上享有优先支持，可以访问私人Discord房间，以及其他好处。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢: CarbonQuill的Luke, Aemon Algiz, Dmitriy Samsonov.

Patreon特别提到: Ajan Kanaga, Kalila, Derek Yates, Sean Connelly, Luke, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, trip7s trip, Jonathan Leane, Talal Aujan, Artur Olbinski, Cory Kujawski, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Johann-Peter Hartmann.

感谢所有慷慨的赞助者和捐赠者！

原始模型卡：Kevin Pro的Vicuna 13B CoT

模型ID的模型卡

SFT以增强Vicuna的CoT能力

如果您认为该模型有帮助，请点击“喜欢”来支持我们。我们也欢迎您对使用体验和遇到的任何问题的反馈。

另一个7B版本： https://huggingface.co/kevinpro/Vicuna-7B-CoT

模型详情

模型描述

• 开发者： [需要更多信息]
• 共享者（可选）： [需要更多信息]
• 模型类型： [需要更多信息]
• 语言（NLP）： [需要更多信息]
• 许可证： [需要更多信息]
• 基于模型进行微调（可选）： [需要更多信息]

模型来源（可选）

• 存储库： [需要更多信息]
• 论文（可选）： [需要更多信息]
• 演示（可选）： [需要更多信息]

用途

直接使用

[需要更多信息]

下游使用（可选）

[需要更多信息]

不在范围内的使用

[需要更多信息]

偏见、风险和限制

[需要更多信息]

建议

用户（直接使用和下游使用者）应了解模型的风险、偏见和限制。更多信息需要提供进一步的建议。

如何开始使用该模型

使用下面的代码开始使用模型。

[需要更多信息]

培训细节

培训数据

[需要更多信息]

培训过程

预处理[可选]

[需要更多信息]

培训超参数

• 培训制度： [需要更多信息]

速度、大小、时间[可选]

[需要更多信息]

评估

测试数据、因素和度量

测试数据

[需要更多信息]

因素

[需要更多信息]

度量

[需要更多信息]

结果

[需要更多信息]

总结

模型检查[可选]

[需要更多信息]

环境影响

可以使用 Machine Learning Impact calculator 对碳排放进行估算。

• 硬件类型： [需要更多信息]
• 使用小时数： [需要更多信息]
• 云服务提供商： [需要更多信息]
• 计算区域： [需要更多信息]
• 排放的碳： [需要更多信息]

技术规范[可选]

模型架构和目标

[需要更多信息]

计算基础设施

[需要更多信息]

硬件

[需要更多信息]

软件

[需要更多信息]

引文[可选]

BibTeX：

[需要更多信息]

APA：

[需要更多信息]

术语表[可选]

[需要更多信息]

更多信息[可选]

[需要更多信息]

模型卡作者[可选]

[需要更多信息]

模型卡联系方式

[需要更多信息]