现在您可以在Colab上免费运行T4 GPU

强烈建议为此模型使用fp16推理，因为8位精度可能会显著影响性能。如果您需要更适合消费级硬件的版本，请使用特殊的量化版本，只需要5GB以上的V-RAM

我们鼓励您使用来自GitHub的最新版本的transformers。

Guanaco是基于Meta的LLaMA 7B模型构建的先进指令跟随语言模型。在Alpaca模型的初始52K数据集的基础上，还加入了额外的534K+条目，涵盖了英语、简体中文、繁体中文（台湾）、繁体中文（香港）、日语、德语以及各种语言和语法任务。这些丰富的数据使得Guanaco在多语言环境中表现出色。

为了促进研究的开放性和可复制性，我们已经公开了Guanaco数据集，并在此处发布了模型权重。通过提供这些资源，我们旨在激发更多的研究人员进行相关研究，并共同推进指令跟随语言模型的发展。

衷心感谢 KBlueLeaf 对模型的概念验证、 trained model 和 inference development 的贡献，如果没有他们的努力，这个项目将永远无法实现。

在使用Guanaco模型时，请记住以下几点：

Guanaco模型并未经过有害、偏见或明确内容的筛选。因此，在使用过程中可能会生成不符合道德规范的输出。请在研究或实际应用中谨慎使用该模型。

### Instruction:
User: History User Input
Assistant: History Assistant Answer
### Input:
System: Knowledge
User: New User Input
### Response:
New Assistant Answer

这种结构化格式有助于更容易跟踪对话历史记录，并在多轮对话中保持上下文。

重要的是要记住，Guanaco是一个7B参数的模型，任何基于知识的内容都应被视为有可能不准确。我们强烈建议在System Prompt中提供可验证的来源，如维基百科，用于基于知识的回答。在没有来源的情况下，重要的是告知用户这个限制，以防止传播错误信息并保持透明度。

由于该项目与 Stanford Alpaca 之间的格式差异，请参考Guanaco-lora：基于LLaMA训练多语言指令跟随LM的LoRA（ https://github.com/KohakuBlueleaf/guanaco-lora ）以进行进一步的训练和推理我们的模型。

最新消息

我们注意到领域中最近出现了一种名为QLoRa的方法，我们对此表示关注，因为它试图利用Guanaco的声誉。我们对这样的行为强烈不赞成。就我们所知，QLoRa在数学上缺乏鲁棒性，其性能明显落后于GPTQ和诸如PEFT微调等改进方法。

Guanaco一直在勤奋地发布多语言数据集，自2023年3月以来，同时发布的权重不仅是GPTQ的增强版本，而且还支持多模态VQA，并进行了4位部分优化。尽管在从OpenAI的GPT模型提取数据方面投入了数万美元的资金，但我们仍然认为这些努力是渐进的。

然而，我们的目标是超越渐进：

虽然我们的工作还处于早期阶段，但我们决心在这些领域取得新的突破。我们对QLoRa的做法的批评并不源于敌意，而是基于这样一个根本信念：创新应该扎根于原创性、诚信和实质性的进步。