Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Vigogne Instruct 13B - 一个法语指令遵循的LLaMa模型 GPTQ

这些文件是用于 Vigogne Instruct 13B - A French instruction-following LLaMa model 的GPTQ 4位模型文件。

这是通过将LoRA合并然后使用 GPTQ-for-LLaMa 进行4位量化的结果。

其他可用的存储库

• 4-bit GPTQ models for GPU inference
• 4-bit, 5-bit, and 8-bit GGML models for CPU+GPU inference
• Unquantised fp16 model in HF format

如何轻松下载和在文本生成WebUI中使用此模型

正常打开文本生成WebUI UI。

提供的文件

兼容文件 - Vigogne-Instruct-13B-GPTQ-4bit-128g.no-act-order.safetensors

在主分支中，您将找到 Vigogne-Instruct-13B-GPTQ-4bit-128g.no-act-order.safetensors

这将适用于所有版本的GPTQ-for-LLaMa。它具有最大的兼容性。

它使用 groupsize 128 创建，以确保更高质量的推理，没有 --act-order 参数以最大限度地提高兼容性。

• Vigogne-Instruct-13B-GPTQ-4bit-128g.no-act-order.safetensors
  • 适用于所有版本的GPTQ-for-LLaMa代码，包括Triton和CUDA分支
  • 适用于AutoGPTQ
  • 适用于文本生成WebUI的一键安装程序
  • 参数：Groupsize = 128。无act-order。
  • 用于创建GPTQ的命令：

    python llama.py /workspace/process/TheBloke_Vigogne-Instruct-13B-GGML/HF  wikitext2 --wbits 4 --true-sequential --groupsize 128 --save_safetensors /workspace/process/TheBloke_Vigogne-Instruct-13B-GGML/gptq/Vigogne-Instruct-13B-GPTQ-4bit-128g.no-act-order.safetensors
    

Discord

有关这些模型和人工智能的进一步支持和讨论，请加入我们：

TheBloke AI's Discord server

感谢以及如何做出贡献。

感谢 chirper.ai 团队！

我收到了很多人的询问是否可以做出贡献。我喜欢提供模型和帮助人们，并且非常乐意能够更多地花时间提供帮助，并开始进行更多的新项目，如微调/训练。

如果您能够并愿意做出贡献，我将非常感激，并将有助于我继续提供更多模型，并开始进行新的人工智能项目。

捐赠者将在任何和所有关于人工智能/LLM/模型的问题和请求上得到优先支持，还可以进入私人Discord房间，以及其他好处。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

Patreon 特别提及：Aemon Algiz，Dmitriy Samsonov，Nathan LeClaire，Trenton Dambrowitz，Mano Prime，David Flickinger，vamX，Nikolai Manek，senxiiz，Khalefa Al-Ahmad，Illia Dulskyi，Jonathan Leane，Talal Aujan，V. Lukas，Joseph William Delisle，Pyrater，Oscar Rangel，Lone Striker，Luke Pendergrass，Eugene Pentland，Sebastain Graf，Johann-Peter Hartman。

感谢所有慷慨的赞助人和捐赠者！

原始模型卡片

Vigogne-instruct-13b：一种法语指令遵循的LLaMa模型

Vigogne-instruct-13b是经过微调的LLaMa-13B模型，用于遵循??法语指令。

更多信息，请访问Github存储库： https://github.com/bofenghuang/vigogne

使用和许可通知：与 Stanford Alpaca 相同，Vigogne仅用于研究目的，受许可限制。数据集采用CC BY NC 4.0许可（仅允许非商业使用），使用该数据集训练的模型不应用于除研究目的以外的其他用途。

用法

此存储库仅包含低秩适配器。为了访问完整的模型，您还需要加载基本的LLM模型和分词器。

from peft import PeftModel
from transformers import LlamaForCausalLM, LlamaTokenizer

base_model_name_or_path = "name/or/path/to/hf/llama/13b/model"
lora_model_name_or_path = "bofenghuang/vigogne-instruct-13b"

tokenizer = LlamaTokenizer.from_pretrained(base_model_name_or_path, padding_side="right", use_fast=False)
model = LlamaForCausalLM.from_pretrained(
    base_model_name_or_path,
    load_in_8bit=True,
    torch_dtype=torch.float16,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, lora_model_name_or_path)

您可以使用以下Google Colab笔记本推断此模型。

限制

Vigogne仍在开发中，有许多限制需要解决。请注意，模型可能会生成有害或有偏见的内容、不正确的信息或一般不帮助的答案。