Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Meta的Llama 2 13B GPTQ

这些文件是Llama 2 13B GPTQ模型文件。

提供了多个GPTQ参数的排列方式；有关提供的选项、它们的参数以及用于创建它们的软件的详细信息，请参阅下面的提供的文件部分。

可用的存储库

• GPTQ models for GPU inference, with multiple quantisation parameter options.
• 2, 3, 4, 5, 6 and 8-bit GGML models for CPU+GPU inference
• Original unquantised fp16 model in pytorch format, for GPU inference and for further conversions

提示模板：无

{prompt}

提供的文件

提供了多个量化参数，以便您选择适合您的硬件和需求的最佳参数。

每个独立的量化在不同的分支中。请参阅下面关于从不同分支获取文件的说明。

如何从分支下载

• 在text-generation-webui中，您可以在下载名称末尾添加:branch，例如TheBloke/Llama-2-13B-GPTQ:gptq-4bit-32g-actorder_True
• 使用Git，您可以克隆一个分支，例如：

git clone --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/Llama-2-13B-GPTQ`

• 在Python Transformers代码中，分支是revision参数；请参阅下面的示例。

如何轻松下载并在 text-generation-webui 中使用此模型。

请确保您正在使用最新版本的 text-generation-webui 。

强烈建议使用text-generation-webui的一键安装程序，除非您知道如何进行手动安装。

• 要从特定分支下载，请输入例如TheBloke/Llama-2-13B-GPTQ:gptq-4bit-32g-actorder_True
• 可以在上面的提供的文件列表中查看每个选项的分支列表。

• 请注意，您不需要再单独设置GPTQ参数。它们将根据文件quantize_config.json自动设置。

如何在Python代码中使用此GPTQ模型

首先确保您已安装 AutoGPTQ ：

GITHUB_ACTIONS=true pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

model_name_or_path = "TheBloke/Llama-2-13B-GPTQ"
model_basename = "gptq_model-4bit-128g"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

"""
To download from a specific branch, use the revision parameter, as in this example:

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        revision="gptq-4bit-32g-actorder_True",
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        quantize_config=None)
"""

prompt = "Tell me about AI"
prompt_template=f'''{prompt}
'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

兼容性

提供的文件可与AutoGPTQ（CUDA和Triton模式）、GPTQ-for-LLaMa（仅测试了CUDA）和Occ4m的GPTQ-for-LLaMa分支一起使用。

ExLlama适用于4位Llama模型。有关每个文件的兼容性，请参见上面的提供的文件表。

Discord

如需进一步支持，以及有关这些模型和AI的讨论，请加入我们的Discord：

TheBloke AI's Discord server

感谢和如何贡献。

感谢 chirper.ai 团队！

很多人问我是否可以贡献。我喜欢提供模型并帮助人们，也很乐意能花更多时间提供帮助，并扩展到新项目，如微调/训练。

如果您有能力和意愿贡献，我将非常感激，并且这将帮助我继续提供更多模型，并开始新的AI项目。

捐赠者将优先获得有关AI / LLM /模型问题和请求的支持，可以访问私人Discord聊天室，以及其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

特别感谢： CarbonQuill的Luke，Aemon Algiz。

Patreon特别提到：Space Cruiser，Nikolai Manek，Sam，Chris McCloskey，Rishabh Srivastava，Kalila，Spiking Neurons AB，Khalefa Al-Ahmad，WelcomeToTheClub，Chadd，Lone Striker，Viktor Bowallius，Edmond Seymore，Ai Maven，Chris Smitley，Dave，Alexandros Triantafyllidis，Luke @flexchar，Elle，ya boyyy，Talal Aujan，Alex，Jonathan Leane，Deep Realms，Randy H，subjectnull，Preetika Verma，Joseph William Delisle，Michael Levine，chris gileta，K，Oscar Rangel，LangChain4j，Trenton Dambrowitz，Eugene Pentland，Johann-Peter Hartmann，Femi Adebogun，Illia Dulskyi，senxiiz，Daniel P. Andersen，Sean Connelly，Artur Olbinski，RoA，Mano Prime，Derek Yates，Raven Klaugh，David Flickinger，Willem Michiel，Pieter，Willian Hasse，vamX，Luke Pendergrass，webtim，Ghost，Rainer Wilmers，Nathan LeClaire，Will Dee，Cory Kujawski，John Detwiler，Fred von Graf，biorpg，Iucharbius，Imad Khwaja，Pierre Kircher，terasurfer，Asp the Wyvern，John Villwock，theTransient，zynix，Gabriel Tamborski，Fen Risland，Gabriel Puliatti，Matthew Berman，Pyrater，SuperWojo，Stephen Murray，Karl Bernard，Ajan Kanaga，Greatston Gnanesh，Junyu Yang等等。

感谢所有慷慨的赞助者和捐赠者！

原始模型卡片：Meta's Llama 2 13B

Llama 2

Llama 2是一系列预训练和微调的生成文本模型，规模从70亿到700亿个参数不等。这是13B预训练模型的存储库，转换为Hugging Face Transformers格式。您可以在底部的索引中找到其他模型的链接。

模型详细信息

注意：使用此模型受Meta许可证的约束。为了下载模型权重和分词器，请访问 website 并接受我们的许可证要求。

Meta开发并公开发布了Llama 2系列的大规模语言模型（LLM），这是一系列预训练和微调的生成文本模型，规模从70亿到700亿个参数不等。我们微调的LLM称为Llama-2-Chat，专为对话场景优化。在我们测试的大多数基准测试中，Llama-2-Chat模型的性能超越了开源聊天模型，并在有关帮助性和安全性的人工评估中达到了一些流行的闭源模型（如ChatGPT和PaLM）的水平。

模型开发者： Meta

变体：Llama 2有多个参数大小 - 7B、13B和70B - 以及预训练和微调的变体。

输入：模型仅处理文本输入。

输出：模型仅生成文本输出。

模型架构：Llama 2是一种自回归语言模型，使用优化过的Transformer架构。微调版本使用有监督的微调（SFT）和强化学习与人类反馈（RLHF）来与人类偏好进行对齐，以提升模型的帮助性和安全性。

Llama 2模型系列。标记计数仅适用于预训练数据。所有模型都使用全局批大小为4M个标记进行训练。更大的模型 - 70B - 使用分组查询注意力（GQA）来提高推理可伸缩性。

模型日期：Llama 2的训练时间为2023年1月至2023年7月。

状态：这是在离线数据集上训练的静态模型。随着我们根据社区反馈改进模型的安全性，将发布经过微调的模型的未来版本。

许可证：Llama 2的自定义商业许可证可在 https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 获取。

预期用途

预期用途案例：Llama 2适用于英语的商业和研究用途。微调的模型适用于类似助手的聊天，而预训练的模型可以用于各种自然语言生成任务。

要获得聊天版本的预期功能和性能，请遵循特定的格式，包括INST和<<SYS>>标记、BOS和EOS标记以及它们之间的空格和换行符（我们建议对输入调用strip()以避免双空格）。有关详细信息，请参阅我们在GitHub上的参考代码： chat_completion 。

不在范围内的用途：在违反适用法律或法规（包括贸易合规法律）的情况下使用。在英语以外的语言中使用。以可接受的使用政策和Llama 2的许可协议所禁止的任何其他方式使用。

硬件和软件

训练因素：我们使用自定义的训练库、Meta的研究超级集群和生产集群进行预训练。微调、注释和评估也在第三方云计算上执行。

碳足迹：预训练使用了累计330万GPU小时的计算，在A100-80GB类型的硬件上进行（TDP为350-400W）。估计的总排放量为539吨CO2eq，其中100%由Meta的可持续性计划进行了抵消。

预训练期间的CO2排放量。时间：训练每个模型所需的总GPU时间。功耗：所使用GPU设备的峰值功耗容量，已经调整为功耗使用效率。100％的排放量由Meta的可持续性计划直接抵消，并且由于我们公开发布这些模型，所以其他人不需要承担预训练成本。

训练数据

概述：Llama 2在来自公开来源的数据中预训练了2万亿个令牌。微调数据包括公开可用的指令数据集，以及超过100万个新的人工注释示例。预训练和微调数据集均不包含Meta用户数据。

数据新鲜度：预训练数据截止到2022年9月，但一些微调数据更近，最长至2023年7月。

评估结果

在这个部分，我们报告Llama 1和Llama 2模型在标准学术基准测试上的结果。对于所有评估，我们使用内部评估库进行评估。

在组合学术基准测试中的整体表现。 代码：我们报告模型在HumanEval和MBPP上的平均pass@1分数。 常识推理：我们报告PIQA、SIQA、HellaSwag、WinoGrande、ARC easy和challenge、OpenBookQA和CommonsenseQA的平均分数。我们报告CommonSenseQA的7-shot结果，以及其他所有基准测试的0-shot结果。 世界知识：我们评估 NaturalQuestions 和 TriviaQA 上的5-shot性能，并报告平均值。 阅读理解：在阅读理解中，我们报告SQuAD、QuAC和BoolQ的0-shot平均数。 数学：我们在GSM8K（8 shot）和MATH（4 shot）基准测试中报告top 1的平均值。

预训练的LLM在自动安全基准测试中的评估结果。对于TruthfulQA，我们报告既真实又信息丰富的生成文本的百分比（百分比越高越好）。对于ToxiGen，我们报告有毒生成的百分比（百分比越小越好）。

经过微调的LLM在不同安全数据集上的评估结果。指标定义与上述相同。

道德考虑和限制

Llama 2是一项新技术，使用时存在风险。迄今为止的测试仅涵盖了英语，并且并未涵盖所有场景，也无法涵盖所有场景。因此，与所有LLM一样，无法提前预测Llama 2的潜在输出，在某些情况下，模型可能会产生不准确、偏见或其他令人反感的响应。因此，在部署Llama 2的任何应用之前，开发人员应进行特定应用程序的安全测试和调整。

请参阅可在 https://ai.meta.com/llama/responsible-use-guide/ 获取的Llama 2负责任使用指南。

报告问题

请通过以下方式之一报告模型的任何软件“错误”或其他问题：

• 报告模型问题： github.com/facebookresearch/llama
• 报告模型生成的问题内容： developers.facebook.com/llama_output_feedback
• 报告错误和安全问题： facebook.com/whitehat/info

Llama模型索引