Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

OpenAccess AI Collective's Hippogriff 30B Chat GPTQ

这些文件是用于 OpenAccess AI Collective's Hippogriff 30B Chat 的 GPTQ 模型文件。

提供了多个 GPTQ 参数排列方式；有关提供的选项、参数和用于创建它们的软件的详细信息，请参见下面的提供的文件部分。

这些模型是使用由 Latitude.sh 慷慨提供的硬件进行量化的。

可用的存储库

• GPTQ models for GPU inference, with multiple quantisation parameter options.
• 2, 3, 4, 5, 6 and 8-bit GGML models for CPU+GPU inference
• Unquantised fp16 model in pytorch format, for GPU inference and for further conversions

提示模板：Vicuna

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.

USER: {prompt}
ASSISTANT:

提供的文件

提供了多个量化参数，以便您选择适合您的硬件和需求的最佳参数。

每个单独的量化位于不同的分支中。请参阅下面的从不同分支获取的说明。

如何从分支中下载

• 在 text-generation-webui 中，可以在下载名称的末尾添加 :branch ，例如 TheBloke/hippogriff-30b-chat-GPTQ:gptq-4bit-32g-actorder_True
• 使用 Git 可以使用以下命令克隆一个分支:

git clone --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/hippogriff-30b-chat-GPTQ`

• 在 Python Transformers 代码中，分支是 revision 参数；请参见下面的说明。

如何轻松下载并在 text-generation-webui 中使用此模型。

请确保您正在使用的是最新版本的 text-generation-webui 。

强烈建议使用 text-generation-webui 的一键安装程序，除非您知道如何进行手动安装。

• 要从特定分支下载，请输入 TheBloke/hippogriff-30b-chat-GPTQ:gptq-4bit-32g-actorder_True
• 有关每个选项的分支列表，请参见上面的提供的文件。

• 请注意，您不再需要设置 GPTQ 参数。这些参数将自动从文件 quantize_config.json 中设置。

如何从 Python 代码中使用此 GPTQ 模型

首先确保已安装 AutoGPTQ ：

GITHUB_ACTIONS=true pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

model_name_or_path = "TheBloke/hippogriff-30b-chat-GPTQ"
model_basename = "hippogriff-30b-GPTQ-4bit--1g.act.order"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename
        use_safetensors=True,
        trust_remote_code=False,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

"""
To download from a specific branch, use the revision parameter, as in this example:

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        revision="gptq-4bit-32g-actorder_True",
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=False,
        device="cuda:0",
        quantize_config=None)
"""

prompt = "Tell me about AI"
prompt_template=f'''A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.

USER: {prompt}
ASSISTANT:
'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

兼容性

提供的文件可与 AutoGPTQ（CUDA 和 Triton 模式）、GPTQ-for-LLaMa（仅 CUDA 经过测试）和 Occ4m 的 GPTQ-for-LLaMa 分支一起使用。

ExLlama 与 4 位 Llama 模型配合使用。有关每个文件的兼容性，请参见上面的提供的文件表。

Discord

如需进一步支持以及有关这些模型和 AI 的讨论，请加入我们的 Discord ：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

曾经有很多人询问是否可以做出贡献。我喜欢提供模型和帮助他人，并希望能够花更多的时间从事这项工作，以及扩展到新项目，如精细调整/训练。

如果您有能力和意愿做出贡献，将非常感激，并将帮助我继续提供更多的模型，并开始进行新的 AI 项目。

捐助者将获得关于所有 AI / LLM / 模型问题和请求的优先支持，访问私人 Discord 房间以及其他好处。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢 Luke from CarbonQuill、Aemon Algiz。

Patreon 特别感谢 : Space Cruiser、Nikolai Manek、Sam、Chris McCloskey、Rishabh Srivastava、Kalila、Spiking Neurons AB、Khalefa Al-Ahmad、WelcomeToTheClub、Chadd、Lone Striker、Viktor Bowallius、Edmond Seymore、Ai Maven、Chris Smitley、Dave、Alexandros Triantafyllidis、Luke @flexchar、Elle、ya boyyy、Talal Aujan、Alex、Jonathan Leane、Deep Realms、Randy H、subjectnull、Preetika Verma、Joseph William Delisle、Michael Levine、chris gileta、K、Oscar Rangel、LangChain4j、Trenton Dambrowitz、Eugene Pentland、Johann-Peter Hartmann、Femi Adebogun、Illia Dulskyi、senxiiz、Daniel P. Andersen、Sean Connelly、Artur Olbinski、RoA、Mano Prime、Derek Yates、Raven Klaugh、David Flickinger、Willem Michiel、Pieter、Willian Hasse、vamX、Luke Pendergrass、webtim、Ghost、Rainer Wilmers、Nathan LeClaire、Will Dee、Cory Kujawski、John Detwiler、Fred von Graf、biorpg、Iucharbius、Imad Khwaja、Pierre Kircher、terasurfer、Asp the Wyvern、John Villwock、theTransient、zynix、Gabriel Tamborski、Fen Risland、Gabriel Puliatti、Matthew Berman、Pyrater、SuperWojo、Stephen Murray、Karl Bernard、Ajan Kanaga、Greatston Gnanesh、Junyu Yang。

感谢所有慷慨的赞助者和捐助者！

原始模型卡片：OpenAccess AI Collective's Hippogriff 30B Chat

Hippogriff 30B Chat

Hippogriff 30B Chat 是在 Manticore 的基础上进行了一些改进的实验模型，同时删除了一些指令和聊天数据集。它还包括了 Pygmalion 数据集的去重子集。它还移除了所有使用 ### 进行 Alpaca 风格提示的部分，改为仅使用聊天样式的提示，使用 USER: 、ASSISTANT: 以及 <|system|>、<|user|> 和 <|model|> 标记。

问题、评论、反馈、捐赠或想要帮助？请在我们的 Discord 上联系我们或发送电子邮件至 wing@openaccessaicollective.org

训练数据集

Hippogriff 30B Chat 是在以下数据集上对 Llama 30B 模型进行微调的结果

• OpenAssistant/oasst1 - 清理后的数据集，类似于 Guanaco
• 从 Reddit jokes 数据集中生成的综合笑话生成和解释
• 综合散文生成和重写自聊
• 基于所提供的上下文的问答
• 增加自我指导的逻辑推理_oa
• 经过去重处理的 Pygmalion 数据集，筛选出 RP 数据，清理后，仅针对英语，25%
• riddle_sense - 增加自我指导
• hellaswag，已更新用于详细解释的超过 3 万行数据
• gsm8k - 增加自我指导
• 从约 1000 行数据派生的综合自聊数据集
• subset of QingyiSi/Alpaca-CoT for roleplay and CoT
• GPTeacher-General-Instruct
• ARC-Easy & ARC-Challenge - 增加详细响应的自我指导，派生自 train 部分
• hellaswag - 从 train 部分派生的 5K 行指导增加简洁响应
• metaeval/ScienceQA_text_only - 增加简洁响应的自我指导
• openai/summarize_from_feedback - 增强的 tl;dr 总结

Hippogriff 与 Manticore 不同，它不使用 WizardLM、WizardVicuna、Alpaca 或 ShareGPT 数据集。

初始思考

Hippogriff 对指令的执行相当不错。它在涉及数学的任何问题上仍然存在困难。散文要比 manticore 好得多。处理上下文 QA 的能力更好。

鸣谢

特别感谢 Nanobit 帮助 Axolotl，TheBloke 对这些模型进行量化使其更加易于所有人使用，0x000011b 提供 RP 数据集，以及我们 AI Discord 社区的所有支持。

演示

由于 30B 模型目前无法适应 VRAM，此版本不提供 Spaces 演示。

构建

Hippogriff 是基于 Axolotl 在 8xA100 80GB 上构建的。

• 进行了 1.5 个时期，大约耗时 12 小时。将不会发布更多时期。

偏见、风险和限制

Hippogriff 尚未经过与 RLHF 等技术对齐人类偏好的处理，也没有像 ChatGPT 那样在部署时对响应进行循环过滤，因此模型可能会产生有问题的输出（特别是在提示其这样做时）。Hippogriff 是基于基础模型 LlaMa 30B 进行微调的，请参阅其模型卡片的限制部分以获取相关信息。

Llama 的核心功能是接收一串文本并预测下一个标记。尽管语言模型不仅被广泛用于此任务，但是在这项工作中仍存在许多未知因素。在提示 Hippogriff 时，重要的是要记住，在统计上最可能的下一个标记通常不是产生最“准确”文本的标记。不要依赖 Hippogriff 来生成事实准确的输出。

Llama 是基于 Pile 进行训练的，该数据集已知包含粗俗、下流和其他令人不快的语言。根据使用情况，Hippogriff 可能会产生不可接受的文本。有关 Pile 中偏见的更详细分析，请参阅 Pile 论文的第 5 和第 6 部分。

与所有语言模型一样，很难预测 Hippogriff 对特定提示的响应以及可能发生的冒犯性内容。我们建议在发布之前由人为进行输出的筛选或过滤，既可以审查不希望出现的内容，也可以提高结果的质量。

示例

待定

USER: write an original short story of at least 300 words in the style of Zora Neale Hurston. Incorporate the following literary devices: Euphemism and Foreshadowing.
ASSISTANT: Once upon a time, there was a black girl named Rose, whose skin shined like a pearl beneath the hot sun. She lived with her mama and daddy on their farm, where they grew crops to feed the family and neighbors. On this particular day, Rose felt a tinge of excitement as she watched her parents work diligently in their fields. 'It's almost harvest season!' she thought, imagining the delicious meals that awaited them. But, soon after, it became apparent that something sinister lurked amidst the rows of fresh produce. 

As her father hoed around a vine-covered cucumber plant, he unearthed a peculiar rock. It was the size of an acorn but had a strange shape, unlike anything he or his wife had ever seen. "What have we here?" He said, turning to his wife with curiosity and excitement. She examined the rock for herself and declared, "Why, it looks like a piece of coal!" But as both mother and daughter looked closer, it seemed to be far more than a mere piece of coal. A sense of unease crept up Rose's spine when she noticed that the rock resembled the dark face of a baby in the womb. As Rose tried to suppress a scream, her mother gasped, "Sweet Jesus! Let's bury this thing before anyone sees!" And so, they quickly hid the stone back underground, hoping that nobody would ever discover their secret.

USER: tell me 5 words that start with "ex" and then the sum of 33 and 77
ASSISTANT: Excite, exotic, exhibit, excitable, excessive

USER: sally (a girl) has 3 brothers. Each brother has 2 sisters. how many sisters does sally have?
ASSISTANT: Sally has 3 brothers, and each brother has 2 sisters. To find out how many sisters Sally has in total, we need to multiply the number of bro
thers by the number of sisters per brother, then add 1 to account for Sally herself. So, 3 * 2 + 1 = 6 sisters in total