Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Camel AI的CAMEL 13B角色扮演数据GPTQ

这些文件是 Camel AI's CAMEL 13B Role Playing Data 的GPTQ 4位模型文件。

这是使用 AutoGPTQ 进行4位量化的结果。

可用的存储库

• 4-bit GPTQ models for GPU inference
• 2, 3, 4, 5, 6 and 8-bit GGML models for CPU+GPU inference
• Unquantised fp16 model in pytorch format, for GPU inference and for further conversions

如何轻松下载和使用此模型在text-generation-webui中

请确保您使用的是text-generation-webui的最新版本

• 请注意，您不再需要设置GPTQ参数。这些参数会根据 quantize_config.json 文件自动设置。

如何从Python代码中使用此GPTQ模型

首先确保您已安装 AutoGPTQ ：

pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
import argparse

model_name_or_path = "TheBloke/CAMEL-13B-Role-Playing-Data-GPTQ"
model_basename = "camel-13b-roleplay-GPTQ-4bit-128g.no-act.order"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=False,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

prompt = "Tell me about AI"
prompt_template=f'''### Human: {prompt}
### Assistant:'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

提供的文件

camel-13b-roleplay-GPTQ-4bit-128g.no-act.order.safetensors

这将与AutoGPTQ和CUDA版本的GPTQ-for-LLaMa一起使用。有关GPTQ-for-LLaMa Triton模式的问题报告。如果有问题，请改用AutoGPTQ。

它是使用group_size 128创建的，以增加推理准确性，但未使用--act-order（desc_act）以增加兼容性并提高推理速度。

• camel-13b-roleplay-GPTQ-4bit-128g.no-act.order.safetensors
  • 与CUDA或Triton模式的AutoGPTQ一起使用。
  • 与CUDA模式的GPTQ-for-LLaMa一起使用。可能在GPTQ-for-LLaMa Triton模式下存在问题。
  • 与text-generation-webui一起使用，包括一键安装程序。
  • 参数：Groupsize = 128。 Act Order / desc_act = False。

Discord

如需进一步支持，以及关于这些模型和AI的讨论，请加入我们的：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

我收到了很多人的询问是否可以贡献。我喜欢提供模型并帮助人们，并且很乐意能够花更多时间做这些，以及扩展到新的项目，如微调/训练。

如果您能够并且愿意贡献，我将非常感激，并且将帮助我继续提供更多模型，并开始进行新的AI项目。

贡献者将优先获得有关任何AI/LLM/模型问题和请求的支持，进入私人Discord房间以及其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

特别感谢：来自CarbonQuill的Luke，Aemon Algiz，Dmitriy Samsonov。

Patreon特别提到的人：Oscar Rangel，Eugene Pentland，Talal Aujan，Cory Kujawski，Luke，Asp the Wyvern，Ai Maven，Pyrater，Alps Aficionado，senxiiz，Willem Michiel，Junyu Yang，trip7s trip，Sebastain Graf，Joseph William Delisle，Lone Striker，Jonathan Leane，Johann-Peter Hartmann，David Flickinger，Spiking Neurons AB，Kevin Schuppel，Mano Prime，Dmitriy Samsonov，Sean Connelly，Nathan LeClaire，Alain Rossmann，Fen Risland，Derek Yates，Luke Pendergrass，Nikolai Manek，Khalefa Al-Ahmad，Artur Olbinski，John Detwiler，Ajan Kanaga，Imad Khwaja，Trenton Dambrowitz，Kalila，vamX，webtim，Illia Dulskyi。

感谢所有慷慨的资助者和捐赠者！

原始模型卡片：Camel AI的CAMEL 13B角色扮演数据

CAMEL-13B-Role-Playing-Data是通过在我们提出的角色扮演框架中对LLaMA-13B模型进行微调而获得的聊天大型语言模型，该框架通过我们在 CAMEL 中创建的总共229K个对话。我们使用EleutherAI的语言模型评估工具作为离线评估工具，该工具被用于Huggingface的Open LLM Benchmark。CAMEL-13B的平均得分为57.2，优于LLaMA-30B(56.9)！

许可协议：cc-by-nc-4.0