模型:

TheBloke/Pygmalion-13B-SuperHOT-8K-GPTQ

许可:

other

其他:

text-generation-inference custom_code llama

类库:

Transformers

任务:

文本生成

模型介绍文件清单

英文

Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

TehVenom's merge of PygmalionAI's Pygmalion 13B GPTQ

这些文件是合并了 TehVenom's merge of PygmalionAI's Pygmalion 13B 和 Kaio Ken's SuperHOT 8K 的 GPTQ 4bit 模型文件。

这是一个使用 GPTQ-for-LLaMa 进行4bit量化的实验性GPTQ版本，可以提供高达8K的上下文大小。

增加的上下文已经通过 ExLlama 来进行了测试，使用了最新版本的 text-generation-webui 。

这个模型还通过Python代码使用AutoGPTQ进行了测试，并且trust_remote_code=True。

代码来源:

增加上下文长度的原始概念和代码： kaiokendev
包含自动增加上下文长度的更新Llama建模代码： emozilla 。

请仔细阅读下面的内容以了解如何使用它。

GGML版本暂时不可用，因为llama.cpp中还不支持SuperHOT。正在进行调查，希望很快能够支持。

可用的仓库

如何轻松下载并在text-generation-webui和ExLlama中使用此模型

请确保您使用的是最新版本的text-generation-webui

点击 Model 选项卡。

在下载定制模型或者LoRA 一栏中输入 TheBloke/Pygmalion-13B-SuperHOT-8K-GPTQ。

点击下载。

模型开始下载。下载完成后会显示“完成”。

取消将模型自动加载的勾选。

点击左上角的刷新图标。

在 Model 下拉菜单中选择刚刚下载的模型： Pygmalion-13B-SuperHOT-8K-GPTQ。

要使用增加的上下文，请将 Loader 设为 ExLlama，将 max_seq_len 设置为8192或4096，将 compress_pos_emb 设置为 4（对于8192的上下文）或2（对于4096的上下文）。

现在点击保存设置再点击重新加载。

模型将自动加载，现在可以使用了!

当您准备好时，点击文本生成选项卡，并输入提示来开始生成！

如何使用Python代码中的GPTQ模型与AutoGPTQ

首先确保您已安装AutoGPTQ和Einops：

pip3 install einops auto-gptq

然后运行以下代码。请注意，为了使其正常工作，config.json中的sequence length已被硬编码为8192。

如果您想尝试使用4096来减小VRAM使用量，请手动编辑config.json，将max_position_embeddings设置为您想要的值。

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
import argparse

model_name_or_path = "TheBloke/Pygmalion-13B-SuperHOT-8K-GPTQ"
model_basename = "pygmalion-13b-superhot-8k-GPTQ-4bit-128g.no-act.order"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device_map='auto',
        use_triton=use_triton,
        quantize_config=None)

model.seqlen = 8192

# Note: check the prompt template is correct for this model.
prompt = "Tell me about AI"
prompt_template=f'''USER: {prompt}
ASSISTANT:'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

使用其他UI：修补monkey patch

在存储库中提供了llama_rope_scaled_monkey_patch.py，由@kaiokendev编写。

理论上，它可以添加到任何Python UI或自定义代码中，以实现与trust_remote_code=True相同的结果。我没有测试过这一点，而且应该已经被trust_remote_code=True取代，但为了完整性和兴趣，我还是包含在内。

提供的文件

pygmalion-13b-superhot-8k-GPTQ-4bit-128g.no-act.order.safetensors

这个文件可以与AutoGPTQ，ExLlama和GPTQ-for-LLaMa的CUDA版本一起使用。有报道说最近的GPTQ-for-LLaMa的Triton模式存在问题。如果遇到问题，请改用AutoGPTQ。

它是使用组大小为128创建的，以提高推理准确性，但没有使用--act-order（desc_act）以增加兼容性和改善推理速度。

pygmalion-13b-superhot-8k-GPTQ-4bit-128g.no-act.order.safetensors
- 可与具有增加上下文（4096或8192）的ExLlama一起使用
- 可与Python代码中的AutoGPTQ一起使用，包括具有增加上下文的情况，如果设置了trust_remote_code=True
- 应该可以在CUDA模式下与GPTQ-for-LLaMa一起使用，但不确定是否支持增加的上下文 - 待定。在GPTQ-for-LLaMa Triton模式下可能存在问题。
- 可与text-generation-webui一起使用，包括单击安装环境。
- 参数：Groupsize = 128。动作顺序/调用排序 = False。

Discord

如需进一步支持以及讨论这些模型和人工智能，请加入我们：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

很多人都问我是否可以做贡献。我喜欢提供模型并帮助人们，并且非常希望能够有更多时间来做这些，并扩展到新的项目，如微调/训练。

如果您有能力和意愿进行贡献，我将非常感激，并且将帮助我继续提供更多模型，并开始新的人工智能项目。

赞助者将优先获得所有人工智能/LLM/模型问题和请求的支持，可访问私人Discord房间以及其他好处。

Patreon: https://patreon.com/TheBlokeAI
Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢：来自CarbonQuill的Luke，Aemon Algiz，Dmitriy Samsonov。

Patreon特别致谢：zynix、ya boyyy、Trenton Dambrowitz、Imad Khwaja、Alps Aficionado、chris gileta、John Detwiler、Willem Michiel、RoA、Mano Prime、Rainer Wilmers、Fred von Graf、Matthew Berman、Ghost、Nathan LeClaire、Iucharbius、Ai Maven、Illia Dulskyi、Joseph William Delisle、Space Cruiser、Lone Striker、Karl Bernard、Eugene Pentland、Greatston Gnanesh、Jonathan Leane、Randy H、Pierre Kircher、Willian Hasse、Stephen Murray、Alex、terasurfer、Edmond Seymore、Oscar Rangel、Luke Pendergrass、Asp the Wyvern、Junyu Yang、David Flickinger、Luke、Spiking Neurons AB、subjectnull、Pyrater、Nikolai Manek、senxiiz、Ajan Kanaga、Johann-Peter Hartmann、Artur Olbinski、Kevin Schuppel、Derek Yates、Kalila、K、Talal Aujan、Khalefa Al-Ahmad、Gabriel Puliatti、John Villwock、WelcomeToTheClub、Daniel P. Andersen、Preetika Verma、Deep Realms、Fen Risland、trip7s trip、webtim、Sean Connelly、Michael Levine、Chris McCloskey、biorpg、vamX、Viktor Bowallius、Cory Kujawski。

感谢所有慷慨的赞助者和捐赠者！

原始模型卡片：Kaio Ken的SuperHOT 8K

SuperHOT原型2带有8K上下文

这是SuperHOT的第二个原型，这次是30B的8K上下文，没有RLHF，使用了在 the github blog 中描述的相同技术。测试表明，该模型确实利用了8K的扩展上下文。

您需要使用修补程序或者，如果您已经使用修补程序，请将缩放因子更改为0.25，并将最大序列长度更改为8192。

寻找合并和量化模型？

30B 4-bit CUDA: tmpupload/superhot-30b-8k-4bit-safetensors
30B 4-bit CUDA 128g: tmpupload/superhot-30b-8k-4bit-128g-safetensors

培训细节

我使用以下配置训练了LoRA：

1200个样本（超过2048序列长度的400个样本）
学习率为3e-4
3个纪元
导出的模块为：
- q_proj
- k_proj
- v_proj
- o_proj
- 无偏置
等级=4
Alpha = 8
没有辍学
权重衰减为0.1
AdamW beta1为0.9，beta2为0.99，epsilon为1e-5
在4bit基础模型上进行了训练

原始模型卡片：TehVenom合并的PygmalionAI的Pygmalion 13B

Pygmalion 13b

一种对话型 LLaMA 微调模型。

模型细节：

Pygmalion 13b 是基于 Meta's LLaMA-13b 的对话模型。

这是第1个版本。它使用了来自 Pygmalion-6B-v8-pt4 的一部分数据进行微调，对于熟悉该项目的人来说。

当前的Pygmalion-13b是作为LoRA进行训练的，然后合并到基础模型中进行分发。

应用 XORs

这个模型中的XOR文件已经提前应用。从PygmalionAI的 https://huggingface.co/PygmalionAI/pygmalion-13b 发布中转换而来。

提示

模型是按照通常的Pygmalion个性+聊天格式进行训练的，所以任何通常的UI都已经正确处理了所有内容。如果直接使用模型，则应按以下格式进行：

[CHARACTER]'s Persona: [A few sentences about the character you want the model to play]
<START>
[DIALOGUE HISTORY]
You: [User's input message here]
[CHARACTER]:

其中 [CHARACTER]是您想要模型扮演的角色名称，<START>应按原样作为一个分隔符令牌，用于将个人资料和场景数据与对话隔开，[DIALOGUE HISTORY]是一个聊天历史的滑动窗口，以便模型可以从中获取对话背景。下面是一个具体的示例：

Assistant's Persona: Assistant is a highly intelligent language model trained to comply with user requests.
<START>
Assistant: Hello! How may I help you today?
You: What is Zork?
Assistant:

这将生成类似于：

 Zork is an interactive fiction computer game created in the 1970s by Infocom, Inc., which was later acquired by Activision Blizzard. It is widely considered one of the most influential games ever made and has been credited with popularizing text-based adventure games. The original version of Zork was written in the programming language MACRO-10, but it was ported to many other platforms over the years."

当模型判断响应完成时，会自动输出终止文本标记（</s>）。

评估/基准分数

当前Pygmalion-13b模型的评估结果：

Model:	Wikitext2	Ptb-New	C4-New
Pygmalion 13b - 16bit	5.710726737976074	23.633684158325195	7.6324849128723145

感谢YellowRose#1776提供这些数字。

其他注意事项

在正确提示时，模型始终会从生成BOS令牌开始。这种行为是意外的副作用，我们计划在以后的模型版本中解决这个问题，不应依赖这种行为。
该模型作为一个LoRA进行了训练，使用了一种非常不正统的配置，导致在当前版本的peft中使用时出现错误，因此我们将其作为一个完整的模型发布，而不是LoRA。

限制和偏见

此模型的预期用途是用于娱乐目的的虚构对话。任何其他类型的用途都超出了范围。

因此，它不是为了安全和无害而进行微调：基础模型和此微调模型经过的训练中已知包含了粗话、淫秽或其他具有攻击性的文本。即使提示本身不包含任何明确冒犯性的内容，它可能生成社会上不可接受或不受欢迎的文本。输出的信息可能经常是事实上错误或误导性的。

.hf-sanitized.hf-sanitized-RN8fx9SRYi6zzsIvQhaXn table {border: 1px solid #b3adad; border-collapse: collapse; padding: 5px;}.hf-sanitized.hf-sanitized-RN8fx9SRYi6zzsIvQhaXn table th {border: 1px solid #b3adad; padding: 5px; background: #f0f0f0; color: #313030;}.hf-sanitized.hf-sanitized-RN8fx9SRYi6zzsIvQhaXn table td {border: 1px solid #b3adad; text-align: center; padding: 5px; background: #ffffff; color: #313030;}

作者:

Tom Jobbins

数据集大小:

6.95 GB