Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Meta's Llama 2 7B GPTQ

这些文件是用于 Meta's Llama 2 7B 的GPTQ模型文件。

提供了多个GPTQ参数排列的选择，有关提供的选项，它们的参数以及用于创建它们的软件的详细信息，请参阅下面的“提供的文件”部分。

可用的存储库

• GPTQ models for GPU inference, with multiple quantisation parameter options.
• 2, 3, 4, 5, 6 and 8-bit GGML models for CPU+GPU inference
• Original unquantised fp16 model in pytorch format, for GPU inference and for further conversions

提示模板：无

{prompt}

提供的文件

提供了多个量化参数，以便您选择最适合硬件和需求的参数。

每个单独的量化都在不同的分支中。请参阅下面的说明，了解从不同分支下载的方法。

从分支下载的方法

• 在text-generation-webui中，您可以在下载名称后添加：branch，例如TheBloke/Llama-2-7B-GPTQ:gptq-4bit-32g-actorder_True
• 使用Git，您可以使用以下命令克隆一个分支：

git clone --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/Llama-2-7B-GPTQ`

• 在Python Transformers代码中，分支是revision参数；请参阅下面的说明。

如何轻松下载和在 text-generation-webui 中使用此模型。

请确保您使用的是最新版本的 text-generation-webui 。

强烈建议使用text-generation-webui的一键安装程序，除非您知道如何进行手动安装。

• 要从特定分支下载，请例如输入“TheBloke/Llama-2-7B-GPTQ:gptq-4bit-32g-actorder_True”
• 请参阅上面的“提供的文件”部分，获取每个选项的分支列表。

• 请注意，您不再需要设置GPTQ参数。这些参数将从文件“quantize_config.json”中自动设置。

如何从Python代码中使用此GPTQ模型

首先确保您已安装 AutoGPTQ ：

GITHUB_ACTIONS=true pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

model_name_or_path = "TheBloke/Llama-2-7B-GPTQ"
model_basename = "gptq_model-4bit-128g"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

"""
To download from a specific branch, use the revision parameter, as in this example:

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        revision="gptq-4bit-32g-actorder_True",
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        quantize_config=None)
"""

prompt = "Tell me about AI"
prompt_template=f'''{prompt}
'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

兼容性

提供的文件可与AutoGPTQ（CUDA和Triton模式）、GPTQ-for-LLaMa（仅测试了CUDA）和Occ4m的GPTQ-for-LLaMa分支一起使用。

ExLlama可与4位Llama模型一起使用。有关每个文件的兼容性，请参见上面的“提供的文件”表。

Discord

如需进一步支持以及有关这些模型和AI的讨论，请加入我们的Discord群：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

很多人问我是否可以做出贡献。我喜欢提供模型和帮助人们，并且希望能够花更多时间来做这件事，以及扩展到新的项目，如微调/训练。

如果您能够并且愿意做出贡献，我将非常感激，并且将有助于我继续提供更多模型，并且开始进行新的AI项目。

捐助者将在AI/LLM/模型问题和请求方面获得优先支持，可以访问私人Discord聊天室，以及其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

特别感谢： CarbonQuill的Luke，Aemon Algiz。

Patreon特别感谢：Space Cruiser、Nikolai Manek、Sam、Chris McCloskey、Rishabh Srivastava、Kalila、Spiking Neurons AB、Khalefa Al-Ahmad、WelcomeToTheClub、Chadd、Lone Striker、Viktor Bowallius、Edmond Seymore、Ai Maven、Chris Smitley、Dave、Alexandros Triantafyllidis、Luke @flexchar、Elle、ya boyyy、Talal Aujan、Alex、Jonathan Leane、Deep Realms、Randy H、subjectnull、Preetika Verma、Joseph William Delisle、Michael Levine、chris gileta、K、Oscar Rangel、LangChain4j、Trenton Dambrowitz、Eugene Pentland、Johann-Peter Hartmann、Femi Adebogun、Illia Dulskyi、senxiiz、Daniel P. Andersen、Sean Connelly、Artur Olbinski、RoA、Mano Prime、Derek Yates、Raven Klaugh、David Flickinger、Willem Michiel、Pieter、Willian Hasse、vamX、Luke Pendergrass、webtim、Ghost、Rainer Wilmers、Nathan LeClaire、Will Dee、Cory Kujawski、John Detwiler、Fred von Graf、biorpg、Iucharbius、Imad Khwaja、Pierre Kircher、terasurfer、Asp the Wyvern、John Villwock、theTransient、zynix、Gabriel Tamborski、Fen Risland、Gabriel Puliatti、Matthew Berman、Pyrater、SuperWojo、Stephen Murray、Karl Bernard、Ajan Kanaga、Greatston Gnanesh、Junyu Yang等。

感谢所有慷慨的赞助者和捐助者！

原始模型卡片：Meta's Llama 2 7B

Llama 2

Llama 2是一系列预训练和微调的生成文本模型，规模从70亿到700亿参数不等。这是7B预训练模型的存储库，转换为Hugging Face Transformers格式。其他模型的链接可以在底部的索引中找到。

模型详细信息

注意：使用此模型受Meta许可证管理。为了下载模型权重和分词器，请访问 website 并接受我们的许可证。

Meta开发并公开发布了Llama 2系列大型语言模型（LLM），这是一系列预训练和微调的生成文本模型，规模从70亿到700亿参数不等。我们经过微调的LLM，称为Llama-2-Chat，优化用于对话用例。在我们测试的大多数基准测试中，Llama-2-Chat模型的性能优于开源的聊天模型，并且在幸福感和安全性的人工评估中，与一些受欢迎的闭源模型（如ChatGPT和PaLM）相当。

模型开发者 Meta

变体 Llama 2有多个参数大小 - 7B、13B和70B - 以及预训练和微调的变体。

输入 模型仅接受文本输入。

输出 模型仅生成文本。

模型架构 Llama 2是一个自回归语言模型，使用了优化的变换器架构。经过微调的版本使用了有监督的微调（SFT）和通过人类反馈的强化学习（RLHF）来与人类的偏好（如幸福感和安全性）保持一致。

Llama 2模型系列。令牌计数仅参考预训练数据。所有模型都使用全局批处理大小为4M个令牌进行训练。更大的模型 - 70B - 使用Grouped-Query Attention（GQA）以提高推理可扩展性。

模型日期 Llama 2在2023年1月至2023年7月之间进行了训练。

状态 这是在离线数据集上训练的静态模型。随着我们根据社区反馈改进模型的安全性，将发布未来版本的微调模型。

许可证 可在以下链接获取自定义商业许可证： https://ai.meta.com/resources/models-and-libraries/llama-downloads/

预期用途

预期使用情况 Llama 2适用于商业和研究用途的英文。微调模型适用于类助理的聊天，而预训练模型可以适应各种自然语言生成任务。

要获得聊天版本的预期功能和性能，需要遵循特定的格式，包括INST和<<SYS>>标签，BOS和EOS令牌，以及之间的空格和换行符（我们建议在输入时调用strip()以避免双空格）。有关详细信息，请参阅我们在GitHub上的参考代码： chat_completion 。

超出范围的用途 以违反适用法律或法规（包括贸易合规法律）的方式使用。使用除英语以外的语言。使用违反Llama 2可接受使用政策和许可协议的任何其他方式。

硬件和软件

训练因素 我们使用定制的训练库，Meta的研究超级集群和生产集群进行预训练。微调、注释和评估也在第三方云计算上进行。

碳足迹 预训练使用了共计330万个GPU小时的计算，使用的硬件型号为A100-80GB（TDP为350-400W）。估计的总排放量为539 tCO2eq，其中100%由Meta的可持续性计划抵消。

预训练期间的CO2排放量。时间：训练每个模型所需的总GPU时间。功耗：每个GPU设备的峰值功率容量，根据使用效率调整。100%的排放量由Meta的可持续性计划直接抵消，因为我们公开发布这些模型，所以不需要其他人承担预训练成本。

训练数据

概览 Llama 2在公开可用的数据源中预训练了2万亿个令牌的数据。微调数据包括公开可用的说明数据集以及100多万个新的人工注释示例。预训练数据和微调数据集均不包含Meta用户数据。

数据新鲜度 预训练数据的截止日期为2022年9月，但一些微调数据更近，截至2023年7月。

评估结果

在本节中，我们报告Llama 1和Llama 2模型在标准学术基准测试上的结果。所有评估都使用我们的内部评估库进行。

在分组的学术基准测试中的总体表现。 Code：我们报告模型在HumanEval和MBPP上的平均pass@1分数。 Commonsense Reasoning：我们报告PIQA、SIQA、HellaSwag、WinoGrande、ARC easy和challenge、OpenBookQA和CommonsenseQA的平均分。我们报告CommonSenseQA的7-shot结果和其他所有基准测试的0-shot结果。 World Knowledge：我们对NaturalQuestions和TriviaQA进行5-shot评估，并报告平均分。 Reading Comprehension：对于阅读理解，我们报告SQuAD、QuAC和BoolQ的0-shot平均分。 MATH：我们报告GSM8K（8-shot）和MATH（4-shot）基准测试的平均分数。

预训练LLM在自动安全基准测试上的评估。拥有真实回答和信息的生成的百分比（百分比越高越好）。ToxiGen的有害生成的百分比（百分比越小越好）。

在不同安全数据集上微调LLM的评估。与上述相同的指标定义。

道德考虑和限制

Llama 2是一项带有使用风险的新技术。迄今为止的测试仅用英语进行，且未涵盖并且无法涵盖所有场景。因此，与所有LLM一样，在使用前无法预测Llama 2的潜在输出，并且在某些情况下，模型可能生成不准确、带偏见或其他令人反感的响应。因此，在部署Llama 2的任何应用程序之前，开发人员应根据其特定的模型应用进行安全测试和调优。

请参阅可在 https://ai.meta.com/llama/responsible-use-guide/ 获取的负责任使用指南。

报告问题

请通过以下方式报告模型的任何软件“错误”或其他问题：

• 报告模型的问题： github.com/facebookresearch/llama
• 报告模型生成的问题内容： developers.facebook.com/llama_output_feedback
• 报告错误和安全问题： facebook.com/whitehat/info

Llama模型索引