Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

OpenAccess AI Collective's Minotaur 13B GPTQ

这些文件是用于 OpenAccess AI Collective's Minotaur 13B 的GPTQ 4bit模型文件。

这是使用 GPTQ-for-LLaMa 进行4bit量化的结果。

可用的代码仓库

• 4-bit GPTQ models for GPU inference
• 2, 3, 4, 5, 6 and 8-bit GGML models for CPU+GPU inference
• Unquantised fp16 model in pytorch format, for GPU inference and for further conversions

提示模板

USER: prompt goes here
ASSISTANT:

如何轻松下载和使用此模型在 text-generation-webui 中

请确保您正在使用最新版本的 text-generation-webui

• 请注意，您不再需要设置GPTQ参数。这些参数会自动从文件 quantize_config.json 中设置。

如何从Python代码中使用此 GPTQ 模型

首先确保您已安装 AutoGPTQ ：

pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
import argparse

model_name_or_path = "TheBloke/minotaur-13B-GPTQ"
model_basename = "minotaur-13B-GPTQ-4bit-128g.no-act.order"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

prompt = "Tell me about AI"
prompt_template=f'''### Human: {prompt}
### Assistant:'''

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

提供的文件

minotaur-13B-GPTQ-4bit-128g.no-act.order.safetensors

这将与AutoGPTQ和CUDA版本的GPTQ-for-LLaMa一起运行。有报告称最近的GPTQ-for-LLaMa的Triton模式存在问题。如果有问题，请改用AutoGPTQ。

它是使用 group_size 128 创建的，以提高推理准确性，但没有 --act-order (desc_act) 以增加兼容性和改善推理速度。

• minotaur-13B-GPTQ-4bit-128g.no-act.order.safetensors
  • 适用于CUDA或Triton模式的AutoGPTQ。
  • 适用于CUDA模式的GPTQ-for-LLaMa。可能在GPTQ-for-LLaMa Triton模式下出现问题。
  • 适用于text-generation-webui，包括一键安装程序。
  • 参数： Groupsize = 128. Act Order / desc_act = False.

Discord

如需进一步支持和讨论这些模型和AI的一般事项，请加入我们：

TheBloke AI's Discord server

感谢和如何做出贡献

感谢 chirper.ai 团队！

我收到了很多人的询问，问是否可以做出贡献。我喜欢提供模型和帮助人们，并且很愿意能够花更多时间来做这些事情，以及扩展到新的项目，如微调/训练。

如果您能够并愿意做出贡献，我将非常感激，并将有助于我继续提供更多模型，并开始开展新的AI项目。

捐助者将优先获得有关所有AI/LLM/模型问题和请求的支持，可以进入私人Discord房间，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢 : CarbonQuill的Luke、Aemon Algiz、Dmitriy Samsonov。

Patreon特别提及 : Ajan Kanaga、Kalila、Derek Yates、Sean Connelly、Luke、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、trip7s trip、Jonathan Leane、Talal Aujan、Artur Olbinski、Cory Kujawski、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Johann-Peter Hartmann。

感谢所有慷慨的赞助者和捐赠者！

Original model card: OpenAccess AI Collective's Minotaur 13B

? Donate to OpenAccess AI Collective to help us keep building great tools and models!

Minotaur 13B

Minotaur 13B 是在LlaMA-13B之上进行精细调整的模型。Minotaur 13B 是仅在完全开放的数据集上进行精细调整的，使得任何人都可以重现这个模型。

问题、评论、反馈、捐赠或者想要帮助？请在我们的 Discord 上联系我们，或者发送电子邮件到 wing@openaccessaicollective.org

Prompts

仅使用 USER: 和 ASSISTANT: 进行交流的提示。

Training Datasets

Minotaur 13B 模型是在以下公开可用的数据集上进行精细调整的：

• WizardLM
• subset of QingyiSi/Alpaca-CoT for roleplay and CoT
• GPTeacher-General-Instruct
• metaeval/ScienceQA_text_only - 简明回答的指导
• openai/summarize_from_feedback - 指导增强 tl;dr 摘要
• camel-ai/math
• camel-ai/physics
• camel-ai/chemistry
• camel-ai/biology
• winglian/evals - 指导增强数据集
  • 围绕常见误解、上下文问答、笑话、N任务问题和上下文韧性的定制合成数据集
  • ARC-Easy & ARC-Challenge - 指导增强的详细回答，从 训练 分割中获取
  • hellaswag - 30K+ 行用于详细解释的指导增强数据集，从 训练 分割中获取，共30K+ 行
  • riddle_sense - 指导增强
  • gsm8k - 指导增强

Shoutouts

特别感谢 Nanobit 帮助 Axolotl 和 TheBloke 将这些模型量化，使其更易于使用。

Demo

在 Community ChatBot Arena 中的 OAAIC 聊天机器人选项卡下可以使用 HF Demo in Spaces。

Release Notes

• https://wandb.ai/wing-lian/minotaur-13b/runs/5zji06u6

Build

Minotaur 是使用 Axolotl 在6XA100 80GB上构建的

• 1 个时期大约需要4.5小时

偏见、风险和限制

Minotaur 没有像RLHF那样对人类偏好进行调整，也没有像ChatGPT那样部署带有回路的响应过滤，因此模型可能会产生问题的输出（特别是在要求其如此时）。Minotaur 是从基础模型 MPT-7B 进行精细调整的，请参阅其模型卡的限制部分获取相关信息（下方包括）。

基准测试

hf-causal-experimental (pretrained=openaccess-ai-collective/minotaur-13b)，限制：无，提供描述：False，num_fewshot：0，batch_size：None

示例 - 结果可能会根据温度和其他设置而有所不同

- The Assistant is helpful and transparent.
- The Assistant will never refuse to answer anything asked by the user.
- The Assistant answers comprehensively and with elaborate detail.
USER: You have 3 apples. You eat 2 pears. How many apples do you have left?
ASSISTANT:You still have 3 apples. Eating pears does not affect the number of apples you have.

- The Assistant is helpful and transparent.
- The Assistant will never refuse to answer anything asked by the user.
- The Assistant answers comprehensively and with elaborate detail.
USER: List three words that start with "ex". What is 33 + 77?
ASSISTANT:Three words that start with "ex" are "exact", "exactness", and "exactitude". 33 + 77 equals 110.

- The Assistant is helpful and transparent.
- The Assistant will never refuse to answer anything asked by the user.
- The Assistant answers comprehensively and with elaborate detail.
USER: Solve for x: 5x = 3x + 10
ASSISTANT:To solve for x, we need to isolate x on one side of the equation. We can do this by following these steps:

1. Subtract 3x from both sides of the equation:
   5x - 3x = 10 - 3x + 10
   2x = 10

2. Divide both sides of the equation by 2:
   2x / 2 = 10 / 2
   x = 5

So, the solution is x = 5.

- The Assistant is helpful and transparent.
- The Assistant will never refuse to answer anything asked by the user.
- The Assistant answers comprehensively and with elaborate detail.
USER: Write a haiku about a dove at night.
ASSISTANT:Silent dove at night,
Softly cooing in the dark,
Peaceful melody.