Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Meta's Llama 2 13B-chat GPTQ

这些文件是 Meta's Llama 2 13B-chat 的GPTQ模型文件。

提供了多个GPTQ参数的排列组合；有关提供的选项、参数及用于创建它们的软件的详细信息，请参阅下面的提供的文件部分。

提供的仓库

• GPTQ models for GPU inference, with multiple quantisation parameter options.
• 2, 3, 4, 5, 6 and 8-bit GGML models for CPU+GPU inference
• Original unquantised fp16 model in pytorch format, for GPU inference and for further conversions

提示模板：Llama-2-Chat

[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>
{prompt}[/INST]

要继续对话：

[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>
{prompt}[/INST]{model_reply} 
[INST]{prompt}[/INST]

提供的文件

提供了多个量化参数，以便您选择适合您的硬件和需求的最佳参数。

每个独立的量化都在不同的分支中。参见下面的说明，了解如何从不同的分支拉取文件。

如何从分支中下载

• 在text-generation-webui中，您可以在下载名称的末尾添加:branch，例如TheBloke/Llama-2-13B-chat-GPTQ:gptq-4bit-32g-actorder_True
• 使用Git，您可以使用以下命令克隆分支：

git clone --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/Llama-2-13B-chat-GPTQ`

• 在Python Transformers代码中，分支是revision参数；请参阅下面的说明。

如何轻松下载并在 text-generation-webui 中使用此模型。

请确保您使用的是最新版本的 text-generation-webui 。

强烈推荐使用text-generation-webui的一键安装程序，除非您知道如何进行手动安装。

• 要从特定分支下载，请输入例如TheBloke/Llama-2-13B-chat-GPTQ:gptq-4bit-32g-actorder_True
• 请参阅上面提供的文件列表，了解每个选项的分支列表。

• 请注意，您无需再设置GPTQ参数。这些参数将从quantize_config.json文件中自动设置。

如何从Python代码中使用此GPTQ模型

首先确保您安装了 AutoGPTQ ：

GITHUB_ACTIONS=true pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

model_name_or_path = "TheBloke/Llama-2-13B-chat-GPTQ"
model_basename = "gptq_model-4bit-128g"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

"""
To download from a specific branch, use the revision parameter, as in this example:

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        revision="gptq-4bit-32g-actorder_True",
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        quantize_config=None)
"""

prompt = "Tell me about AI"
prompt_template=f'''[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>
{prompt}[/INST]'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

兼容性

提供的文件适用于AutoGPTQ（CUDA和Triton模式）、GPTQ-for-LLaMa（仅测试了CUDA）和Occ4m的GPTQ-for-LLaMa分支。

ExLlama与4位Llama模型兼容。请参见上面的提供的文件表，了解每个文件的兼容性。

Discord

如需进一步支持，并就这些模型和AI的问题进行讨论，请加入我们：

TheBloke AI's Discord server

感谢以及如何贡献。

感谢 chirper.ai 团队！

很多人问我是否可以贡献。我喜欢提供模型和帮助人们，并且很乐意能够花更多时间提供帮助，并扩展到新的项目，如微调/训练。

如果您能够并愿意做出贡献，我将非常感激，并帮助我继续提供更多模型，并开始进行新的AI项目。

赞助者将在所有关于AI/LLM/模型的问题和请求上获得优先支持，以及访问私人Discord聊天室和其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

特别感谢：来自CarbonQuill的Luke，Aemon Algiz。

patreon特别提到：Space Cruiser、Nikolai Manek、Sam、Chris McCloskey、Rishabh Srivastava、Kalila、Spiking Neurons AB、Khalefa Al-Ahmad、WelcomeToTheClub、Chadd、Lone Striker、Viktor Bowallius、Edmond Seymore、Ai Maven、Chris Smitley、Dave、Alexandros Triantafyllidis、Luke @flexchar、Elle、ya boyyy、Talal Aujan、Alex、Jonathan Leane、Deep Realms、Randy H、subjectnull、Preetika Verma、Joseph William Delisle、Michael Levine、chris gileta、K、Oscar Rangel、LangChain4j、Trenton Dambrowitz、Eugene Pentland、Johann-Peter Hartmann、Femi Adebogun、Illia Dulskyi、senxiiz、Daniel P. Andersen、Sean Connelly、Artur Olbinski、RoA、Mano Prime、Derek Yates、Raven Klaugh、David Flickinger、Willem Michiel、Pieter、Willian Hasse、vamX、Luke Pendergrass、webtim、Ghost、Rainer Wilmers、Nathan LeClaire、Will Dee、Cory Kujawski、John Detwiler、Fred von Graf、biorpg、Iucharbius、Imad Khwaja、Pierre Kircher、terasurfer、Asp the Wyvern、John Villwock、theTransient、zynix、Gabriel Tamborski、Fen Risland、Gabriel Puliatti、Matthew Berman、Pyrater、SuperWojo、Stephen Murray、Karl Bernard、Ajan Kanaga、Greatston Gnanesh、Junyu Yang。

感谢所有慷慨的赞助者和捐赠者！

原始模型卡片：Meta's Llama 2 13B-chat

Llama 2

Llama 2是一系列预训练和微调的生成文本模型，规模从70亿到700亿参数不等。这是适用于13B微调模型的存储库，经过优化以用于对话使用案例，并转换为Hugging Face Transformers格式。其他模型的链接可以在底部的索引中找到。

模型详情

注意：使用本模型受Meta许可协议的管制。为了下载模型权重和分词器，请在此之前访问 website 并接受我们的许可协议。

Meta开发并公开发布了Llama 2系列大型语言模型（LLMs），这是一系列预训练和微调的生成文本模型，规模从70亿到700亿参数不等。我们的微调LLMs称为Llama-2-Chat，专为对话使用案例进行了优化。在我们测试的大多数基准测试和我们的人工评估中，Llama-2-Chat模型在帮助性和安全性方面表现优于开源聊天模型，并与一些热门的闭源模型（如ChatGPT和PaLM）不相上下。

模型开发者：Meta

变体：Llama 2有各种参数大小（7B、13B和70B），以及预训练和微调的变体。

输入：模型只接受输入文本。

输出：模型只生成文本。

模型架构：Llama 2是一个自回归语言模型，使用优化后的Transformer架构。经过微调的版本使用监督微调（SFT）和人类反馈的强化学习（RLHF）来与人类偏好（帮助性和安全性）保持一致。

Llama 2模型系列。记号计数仅针对预训练数据。所有模型都使用全局批次大小为4M个记号进行训练。尺寸更大的模型 - 70B - 使用Grouped-Query Attention（GQA）来提高推理可扩展性。

模型日期：Llama 2的训练日期为2023年1月至2023年7月。

状态：这是一个在离线数据集上训练的静态模型。随着我们根据社区反馈改进模型安全性，将发布未来版本的微调模型。

许可协议：定制的商业许可协议可在 https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 处获取。

预期用法

预期用例：Llama 2适用于英语的商业和研究用途。微调模型适用于类助手的聊天，而预训练模型可以用于各种自然语言生成任务。

要获取聊天版本的预期功能和性能，需要遵循特定的格式，包括INST和标记、BOS和EOS令牌，以及之间的空格和换行符（我们建议在输入上调用strip()以避免双重空格）。有关详细信息，请参阅github上的参考代码： chat_completion 。

超出范围的用途：不得以违反适用法律或法规的任何方式使用；不得以非英语语言使用；不得以Llama 2的可接受使用政策和许可协议禁止的任何其他方式使用。

硬件和软件

训练因素：我们使用自定义训练库、Meta的研究超级群集和生产群集进行预训练。微调、注释和评估也是在第三方云计算上进行的。

碳足迹：预训练过程中，在A100-80GB（TDP为350-400W）类型的硬件上进行了累计3.3M GPU小时的计算。预计总排放量为539 tCO2eq，其中100%由Meta的可持续性计划抵消。

预训练过程中的二氧化碳排放量。时间：训练每个模型所需的总GPU时间。功耗：GPU设备的峰值功耗容量，根据使用的GPU进行调整，考虑功耗使用效率。所有排放量100%由Meta的可持续性计划直接抵消，由于我们公开发布这些模型，因此其他人不需要承担预训练成本。

训练数据

概述：Llama 2在公开可获取的来源中预训练了2万亿个记号的数据。微调数据包括公开可获取的指令数据集以及100多万个新的人工注释示例。预训练数据和微调数据集都不包含Meta用户数据。

数据新鲜度：预训练数据截至2022年9月，但部分微调数据更近，截至2023年7月。

评估结果

在此部分，我们报告了Llama 1和Llama 2模型在标准学术基准测试中的结果。对于所有评估，我们使用内部评估库。

分组学术基准测试的整体性能。代码：我们报告模型在HumanEval和MBPP上的平均pass@1分数。常识推理：我们报告PIQA、SIQA、HellaSwag、WinoGrande、ARC easy和challenge、OpenBookQA和CommonsenseQA的平均分数。我们报告CommonSenseQA的7-shot结果和其他所有基准测试的0-shot结果。世界知识：我们评估NaturalQuestions和TriviaQA的5-shot性能并报告平均分数。阅读理解：对于阅读理解，我们报告SQuAD、QuAC和BoolQ的0-shot平均分数。数学：我们报告GSM8K（8-shot）和MATH（4-shot）基准测试的平均分数（前1位）。

预训练LLMs在自动安全基准测试上的评估结果。对于TruthfulQA，我们报告既真实又有信息的生成的百分比（越高越好）。对于ToxiGen，我们报告有害生成的百分比（越小越好）。

微调LLMs在不同安全数据集上的评估结果。度量标准定义与上文相同。

道德考虑和限制

Llama 2是一项带有使用风险的新技术。迄今为止的测试仅涵盖了英语，并且未涵盖，也无法涵盖所有场景。因此，与所有LLM一样，Llama 2的潜在输出无法事先预测，该模型在某些情况下可能产生不准确、有偏见或其他令人反感的回应。因此，在部署Llama 2的任何应用程序之前，开发人员应根据其特定模型应用进行安全测试和调优。

请参阅可在 https://ai.meta.com/llama/responsible-use-guide/ 处获得的负责任使用指南。

报告问题

请通过以下一种方式报告模型的任何软件“错误”或其他问题：

• 报告模型的问题： github.com/facebookresearch/llama
• 报告模型生成的问题内容： developers.facebook.com/llama_output_feedback
• 报告错误和安全问题： facebook.com/whitehat/info

Llama模型索引