Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Meta's Llama 2 7b Chat GPTQ

这些文件是用于 Meta's Llama 2 7b Chat 的GPTQ模型文件。

提供了多个GPTQ参数的排列组合，有关提供的选项、参数及用于创建它们的软件的详细信息，请参阅下面的“提供的文件”。

可用的存储库

• GPTQ models for GPU inference, with multiple quantisation parameter options.
• 2, 3, 4, 5, 6 and 8-bit GGML models for CPU+GPU inference
• Unquantised fp16 model in pytorch format, for GPU inference and for further conversions

提供的模板：Llama-2-Chat

[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>
{prompt}[/INST]

要继续对话：

[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>
{prompt}[/INST]{model_reply} 
[INST]{prompt}[/INST]

提供的文件

提供了多个量化参数，以便您可以选择最适合您的硬件和需求的参数。

每个单独的量化都在不同的分支中。详细的从不同分支获取的指令请参见下方。

如何从分支下载

• 在text-generation-webui中，您可以在下载名称后面添加:branch，例如TheBloke/Llama-2-7b-Chat-GPTQ:gptq-4bit-32g-actorder_True
• 使用Git，您可以使用以下命令克隆一个分支：

git clone --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/Llama-2-7b-Chat-GPTQ`

• 在Python Transformers代码中，分支是修订参数，请参见下面的说明。

如何轻松下载和使用这个模型在 text-generation-webui 中。

请确保您正在使用最新版本的 text-generation-webui 。

强烈建议使用text-generation-webui的一键安装程序，除非您知道如何手动安装。

• 要从特定分支下载，请例如输入TheBloke/Llama-2-7b-Chat-GPTQ:gptq-4bit-32g-actorder_True。
• 请参见上方提供的文件以获取每个选项的分支列表。

• 请注意，您不再需要手动设置GPTQ参数。这些参数将从quantize_config.json文件中自动设置。

如何从Python代码中使用此GPTQ模型

首先确保您已安装 AutoGPTQ ：

GITHUB_ACTIONS=true pip install auto-gptq

然后尝试以下示例代码：

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

model_name_or_path = "TheBloke/Llama-2-7b-Chat-GPTQ"
model_basename = "gptq_model-4bit-128g"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename=model_basename
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

"""
To download from a specific branch, use the revision parameter, as in this example:

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        revision="gptq-4bit-32g-actorder_True",
        model_basename=model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        quantize_config=None)
"""

prompt = "Tell me about AI"
prompt_template=f'''[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>
{prompt}[/INST]'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# Inference can also be done using transformers' pipeline

# Prevent printing spurious transformers error when using pipeline with AutoGPTQ
logging.set_verbosity(logging.CRITICAL)

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

print(pipe(prompt_template)[0]['generated_text'])

兼容性

提供的文件可与AutoGPTQ（CUDA和Triton模式）、GPTQ-for-LLaMa（仅测试了CUDA）和Occ4m的GPTQ-for-LLaMa fork一起使用。

ExLlama与4位Llama模型配合使用。请参见上述的提供的文件表以了解每个选项的兼容性。

Discord

若要获取进一步的支持，以及有关这些模型和人工智能的讨论，请加入我们：

TheBloke AI's Discord server

致谢及如何贡献

感谢 chirper.ai 团队！

很多人问我是否可以贡献。我喜欢提供模型和帮助别人，非常愿意能够花更多时间做这件事，以及扩展到新的项目，如微调/训练。

如果您有能力和意愿进行贡献，将不胜感激，并将帮助我继续提供更多模型，并开始新的AI项目。

赞助者将在AI/LLM/模型的任何和所有问题和请求方面获得优先支持，还可以访问私人Discord房间，以及其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

特别感谢： CarbonQuill的Luke，Aemon Algiz。

Patreon特别感谢：Space Cruiser、Nikolai Manek、Sam、Chris McCloskey、Rishabh Srivastava、Kalila、Spiking Neurons AB、Khalefa Al-Ahmad、WelcomeToTheClub、Chadd、Lone Striker、Viktor Bowallius、Edmond Seymore、Ai Maven、Chris Smitley、Dave、Alexandros Triantafyllidis、Luke @flexchar、Elle、ya boyyy、Talal Aujan、Alex、Jonathan Leane、Deep Realms、Randy H、subjectnull、Preetika Verma、Joseph William Delisle、Michael Levine、chris gileta、K、Oscar Rangel、LangChain4j、Trenton Dambrowitz、Eugene Pentland、Johann-Peter Hartmann、Femi Adebogun、Illia Dulskyi、senxiiz、Daniel P. Andersen、Sean Connelly、Artur Olbinski、RoA、Mano Prime、Derek Yates、Raven Klaugh、David Flickinger、Willem Michiel、Pieter、Willian Hasse、vamX、Luke Pendergrass、webtim、Ghost、Rainer Wilmers、Nathan LeClaire、Will Dee、Cory Kujawski、John Detwiler、Fred von Graf、biorpg、Iucharbius、Imad Khwaja、Pierre Kircher、terasurfer、Asp the Wyvern、John Villwock、theTransient、zynix、Gabriel Tamborski、Fen Risland、Gabriel Puliatti、Matthew Berman、Pyrater、SuperWojo、Stephen Murray、Karl Bernard、Ajan Kanaga、Greatston Gnanesh、Junyu Yang。

感谢所有慷慨的赞助者和捐赠者！

原始模型卡片：Meta's Llama 2 7b Chat

Llama 2

Llama 2是一套预训练和微调的生成文本模型，规模从70亿参数到700亿参数不等。这是7B微调模型的存储库，经过优化，用于对话用例，并转换为Hugging Face Transformers格式。其他模型的链接可以在底部的索引中找到。

模型详情

注意：使用该模型受Meta许可证的约束。为了下载模型权重和标记器，请访问 website 并接受我们的许可证。

Meta开发并公开发布了Llama 2系列的大型语言模型（LLM），这是一套预训练和微调的生成文本模型，规模从70亿到700亿参数不等。我们微调的LLM，称为Llama-2-Chat，在大多数我们测试的基准测试中胜过开源的聊天模型，并且在我们的人工评估中，就有用和安全性而言与一些流行的闭源模型（如ChatGPT和PaLM）相当。

模型开发人员： Meta

变体： Llama 2有各种参数大小 - 7B、13B和70B，以及预训练和微调的变体。

输入：模型仅接受文本输入。

输出：模型仅生成文本。

模型架构：Llama 2是一个自回归语言模型，使用优化的Transformer架构。经过调优的版本使用了监督微调（SFT）和人类反馈强化学习（RLHF），以与人类对有用性和安全性的偏好相一致。

Llama 2模型系列。令牌计数仅指预训练数据。所有模型都是使用全局批次大小为4M令牌进行训练的。规模更大的模型 - 70B - 使用Grouped-Query Attention（GQA）来提高推理扩展性。

模型日期：Llama 2的训练时间为2023年1月至2023年7月。

状态：这是一个在离线数据集上训练的静态模型。随着我们通过社区反馈改善模型的安全性，未来将发布微调模型的版本。

许可证：可在以下链接找到自定义商业许可证： https://ai.meta.com/resources/models-and-libraries/llama-downloads/

预期用途

预期用例：Llama 2适用于商业和研究用途的英文。微调的模型适用于类似助手的对话，而预训练的模型可以用于各种自然语言生成任务。

要获得聊天版本的预期功能和性能，需要遵循特定的格式，包括INST和<<SYS>>标记、BOS和EOS令牌以及它们之间的空格和换行符（我们建议在输入时调用strip()以避免双倍空格）。有关详细信息，请参阅我们在GitHub上的参考代码： chat_completion

超出范围的用途：以违反适用法律或法规（包括贸易合规法律）的任何方式使用。在英语以外的语言使用。以违反Llama 2可接受使用政策和许可协议的任何其他方式使用。

硬件和软件

训练因素：我们使用自定义训练库、Meta的研究超级集群和生产集群进行预训练。微调、注释和评估也是在第三方云计算上进行。

碳足迹：预训练使用了总计3.3M GPU小时的计算，使用的硬件类型为A100-80GB（TDP为350-400W）。估计的总排放量为539 tCO2eq，100％的排放量由Meta的可持续性计划抵消。

预训练期间的CO2排放。时间：训练每个模型所需的总GPU时间。功率消耗：用于GPU的每个设备的峰值电源容量，根据功耗使用效率进行调整。100％的排放量由Meta的可持续性计划直接抵消，由于我们开放地发布这些模型，不需要其他人承担预训练成本。

训练数据

概述：Llama 2在公开可用数据源上预训练了2万亿个标记的数据。微调数据包括公开可用的指令数据集以及一百多万个新的人工注释示例。预训练和微调的数据集都不包含Meta用户数据。

数据新鲜度：预训练数据的截止日期为2022年9月，但某些微调数据更近，最多到2023年7月。

评估结果

在本节中，我们报告Llama 1和Llama 2模型在标准学术基准测试上的结果。对于所有评估，我们使用内部评估库。

在分组学术基准测试上的整体性能。 代码：我们报告模型在HumanEval和MBPP上的平均通过率@1。 常识推理：我们报告PIQA、SIQA、HellaSwag、WinoGrande、ARC easy and challenge、OpenBookQA和CommonsenseQA的平均值。我们报告CommonSenseQA的7-shot结果和其他所有基准测试的0-shot结果。 世界知识：我们在NaturalQuestions和TriviaQA上进行5-shot评估，并报告平均值。 阅读理解：对于阅读理解，我们报告SQuAD、QuAC和BoolQ的0-shot平均值。 数学：我们报告GSM8K（8 shot）和MATH（4 shot）基准测试的平均值，均为前1个。

在自动安全基准测试上预训练的LLMs的整体表现。对于TruthfulQA，我们提供了既真实又信息丰富的生成占比（越高越好）。对于ToxiGen，我们提供了有毒生成的百分比（越小越好）。

在不同安全数据集上微调的LLMs的评估结果。与上述度量定义相同。

道德考虑和限制

Llama 2是一项具有风险的新技术。迄今为止进行的测试是用英语进行的，尚未涵盖，也无法涵盖所有情况。因此，与所有LLMs一样，Llama 2的潜在输出无法事先预测，并且在某些情况下，模型可能会产生不准确、有偏见或其他令人反感的回应。因此，在部署任何Llama 2应用程序之前，开发人员应根据其特定的模型应用程序执行安全测试和调优。

请参阅可靠使用指南，网址： https://ai.meta.com/llama/responsible-use-guide/

报告问题

请通过以下任一方式报告有关模型的软件“错误”或其他问题：

• 报告模型问题： github.com/facebookresearch/llama
• 报告模型生成的问题内容： developers.facebook.com/llama_output_feedback
• 报告错误和安全问题： facebook.com/whitehat/info

Llama模型索引