Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Camel AI's CAMEL 13B Combined Data GPTQ

这些文件是用于 Camel AI's CAMEL 13B Combined Data 的GPTQ 4bit模型文件。

使用 AutoGPTQ 进行4位量化的结果。

可用的代码库

• 4-bit GPTQ models for GPU inference
• 2, 3, 4, 5, 6 and 8-bit GGML models for CPU+GPU inference
• Unquantised fp16 model in pytorch format, for GPU inference and for further conversions

如何轻松下载和使用此模型在文本生成Web UI中

请确保您使用的是text-generation-webui的最新版本

• 请注意，您无需再次设置GPTQ参数。这些参数将根据文件quantize_config.json进行自动设置。

如何从Python代码中使用这个GPTQ模型

首先确保您已安装 AutoGPTQ

pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
import argparse

model_name_or_path = "TheBloke/CAMEL-13B-Combined-Data-GPTQ"
model_basename = "camel-13b-combined-GPTQ-4bit-128g.no-act.order"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=False,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

prompt = "Tell me about AI"
prompt_template=f'''### Human: {prompt}
### Assistant:'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

提供的文件

camel-13b-combined-GPTQ-4bit-128g.no-act.order.safetensors

这将与AutoGPTQ和CUDA版本的GPTQ-for-LLaMa一起使用。有关最近GPTQ-for-LLaMa Triton模式的问题报告。如果存在问题，请改用AutoGPTQ。

它的group_size设置为128，以提高推理准确性，但没有 --act-order (desc_act) 来增强兼容性并提高推理速度。

• camel-13b-combined-GPTQ-4bit-128g.no-act.order.safetensors
  • 适用于AutoGPTQ的CUDA或Triton模式。
  • 可与GPTQ-for-LLaMa的CUDA模式一起使用。在GPTQ-for-LLaMa Triton模式下可能会出现问题。
  • 可与文本生成Web UI一起使用，包括一键安装程序。
  • 参数：组大小 = 128。Act Order / desc_act = False。

Discord

欢迎加入我们的群以获取更多支持和有关这些模型和AI的讨论：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队!

有很多人询问是否可以贡献。我喜欢提供模型并帮助人们，并且很乐意能够花更多时间提供支持，并扩展到诸如微调/训练等新项目。

如果您有能力和意愿贡献，则将非常感激，这将帮助我继续提供更多模型，并开始新的AI项目。

捐助者将获得关于任何AI/LLM/模型问题和请求的优先支持，可以进入私人Discord聊天室，以及其他好处。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢: CarbonQuill的Luke，Aemon Algiz，Dmitriy Samsonov。

Patreon特别致谢: Oscar Rangel、Eugene Pentland、Talal Aujan、Cory Kujawski、Luke、Asp the Wyvern、Ai Maven、Pyrater、Alps Aficionado、senxiiz、Willem Michiel、Junyu Yang、trip7s trip、Sebastain Graf、Joseph William Delisle、Lone Striker、Jonathan Leane、Johann-Peter Hartmann、David Flickinger、Spiking Neurons AB、Kevin Schuppel、Mano Prime、Dmitriy Samsonov、Sean Connelly、Nathan LeClaire、Alain Rossmann、Fen Risland、Derek Yates、Luke Pendergrass、Nikolai Manek、Khalefa Al-Ahmad、Artur Olbinski、John Detwiler、Ajan Kanaga、Imad Khwaja、Trenton Dambrowitz、Kalila、vamX、webtim、Illia Dulskyi。

感谢所有慷慨的赞助者和捐助者！

原始模型卡片：Camel AI的CAMEL 13B多模型数据

CAMEL-13B-Combined-Data是通过在229K个对话中进行微调LLaMa-13B模型获得的聊天大语言模型，这些对话通过我们的 CAMEL 框架收集，包括来自ShareGPT的100K个英语公共对话（可在 here 找到）以及来自Alpaca数据集的52K个指令（可在 here 找到）。我们使用EleutherAI的语言模型评估工具离线评估我们的模型，该工具是Huggingface的Open LLM Benchmark使用的。CAMEL * -13B的平均得分为58.1，优于LLaMA-30B（58.3），与LLaMA-65B（58.1）持平！