模型:

TheBloke/GPT4All-13B-snoozy-GPTQ

任务:

文本生成

类库:

Transformers

数据集:

nomic-ai/gpt4all-j-prompt-generations 3Anomic-ai/gpt4all-j-prompt-generations

语言:

其他:

llama text-generation-inference

许可:

gpl

模型介绍文件清单

英文

Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

# GPT4All-13B-snoozy-GPTQ

这个仓库包含了 Nomic.AI's GPT4all-13B-snoozy 的4位GPTQ格式量化模型。

这是使用 GPTQ-for-LLaMa 进行4位量化的结果。

可用的仓库

如何轻松下载和使用此模型在text-generation-webui中

如常打开text-generation-webui UI。

点击模型(Mode)选项卡。

在下载自定义模型或LoRA下方, 输入TheBloke/GPT4All-13B-snoozy-GPTQ。

点击下载(Download)。

等待直到显示下载完成。

点击左上角模型(Model)旁边的刷新(Refresh)图标。

在模型(Model)下拉菜单中: 选择刚刚下载的模型, GPT4All-13B-snoozy-GPTQ。

如果在右下角看到错误提示, 请忽略它 - 这是临时的。

在右侧填写GPTQ参数: 位数(Bits) = 4, 组大小(Groupsize) = 128, 模型类型(model_type) = Llama

点击右上角保存此模型的设置(Save settings for this model)。

点击右上角重新加载模型(Reload the Model)。

一旦显示加载完成, 点击文本生成(Text Generation)选项卡并输入提示！

提供的文件

兼容文件 - GPT4ALL-13B-GPTQ-4bit-128g.compat.no-act-order.safetensors

在主(main)分支中 - 默认分支 - 你可以找到 GPT4ALL-13B-GPTQ-4bit-128g.compat.no-act-order.safetensors

这个文件适用于所有版本的GPTQ-for-LLaMa。它具有最大的兼容性

它是使用 --act-order 参数创建的。与其他文件相比，它的推理质量可能稍低，但保证在所有版本的GPTQ-for-LLaMa和text-generation-webui上可以工作。

GPT4ALL-13B-GPTQ-4bit-128g.compat.no-act-order.safetensors
- 适用于GPTQ-for-LLaMa代码的所有版本，包括Triton和CUDA分支
- 适用于text-generation-webui的一键安装程序
- 参数: 组大小(Groupsize) = 128g, 无act-order
- 用于创建GPTQ的命令:
```
CUDA_VISIBLE_DEVICES=0 python3 llama.py GPT4All-13B-snoozy c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors GPT4ALL-13B-GPTQ-4bit-128g.compat.no-act-order.safetensors
```

Discord

如需进一步支持以及关于这些模型和人工智能的讨论，请加入我们：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

我收到很多人询问是否可以贡献。我很喜欢提供模型并帮助人们，我也很乐意能够花更多时间提供帮助，并拓展到诸如模型微调/训练等新项目。

如果您有能力和意愿进行贡献，我将非常感激，并能够继续提供更多模型，并开始新的人工智能项目。

赞助者将优先获得有关所有人工智能/LLM/模型的支持、问题和请求的支持，可以进入私人Discord房间，并享受其他福利。

Patreon: https://patreon.com/TheBlokeAI
Ko-Fi: https://ko-fi.com/TheBlokeAI

Patreon特别感谢：Aemon Algiz, Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman.

感谢所有慷慨的赞助者和捐助者！

GPT4All-13b-snoozy的原始模型卡片

这是一个根据大量精选的助手交互语料库进行微调的Apache-2许可的聊天机器人模型，包括文字问题、多轮对话、代码、诗歌、歌曲和故事。

模型详情

模型描述

此模型是从LLama 13B进行微调的

开发者： Nomic AI
模型类型：基于助手风格交互数据微调的LLama 13B模型
语言：英语
许可证： Apache-2
模型的原始版本(可选)： LLama 13B

此模型是在 nomic-ai/gpt4all-j-prompt-generations 上使用 revision=v1.3-groovy 进行训练的。

模型来源（可选）

代码库： https://github.com/nomic-ai/gpt4all
基础模型代码库： https://github.com/facebookresearch/llama
演示（可选）： https://gpt4all.io/

结果

常识推理基准的结果

  Model                     BoolQ       PIQA     HellaSwag   WinoGrande    ARC-e      ARC-c       OBQA
  ----------------------- ---------- ---------- ----------- ------------ ---------- ---------- ----------
  GPT4All-J 6B v1.0          73.4       74.8       63.4         64.7        54.9       36.0       40.2
  GPT4All-J v1.1-breezy      74.0       75.1       63.2         63.6        55.4       34.9       38.4
  GPT4All-J v1.2-jazzy       74.8       74.9       63.6         63.8        56.6       35.3       41.0
  GPT4All-J v1.3-groovy      73.6       74.3       63.8         63.5        57.7       35.0       38.8
  GPT4All-J Lora 6B          68.6       75.8       66.2         63.5        56.4       35.7       40.2
  GPT4All LLaMa Lora 7B      73.1       77.6       72.1         67.8        51.1       40.4       40.2
  GPT4All 13B snoozy        *83.3*      79.2       75.0        *71.3*       60.9       44.2       43.4
  Dolly 6B                   68.8       77.3       67.6         63.9        62.9       38.7       41.2
  Dolly 12B                  56.7       75.4       71.0         62.2       *64.6*      38.5       40.4
  Alpaca 7B                  73.9       77.2       73.9         66.1        59.8       43.3       43.4
  Alpaca Lora 7B             74.3      *79.3*      74.0         68.8        56.6       43.9       42.6
  GPT-J 6B                   65.4       76.2       66.2         64.1        62.2       36.6       38.2
  LLama 7B                   73.1       77.4       73.0         66.9        52.5       41.4       42.4
  LLama 13B                  68.5       79.1      *76.2*        70.1        60.0      *44.6*      42.2
  Pythia 6.9B                63.5       76.3       64.0         61.1        61.3       35.2       37.2
  Pythia 12B                 67.7       76.6       67.3         63.8        63.9       34.8       38.0
  Vicuña T5                  81.5       64.6       46.3         61.8        49.3       33.3       39.4
  Vicuña 13B                 81.5       76.8       73.3         66.7        57.4       42.7       43.6
  Stable Vicuña RLHF         82.3       78.6       74.1         70.9        61.0       43.5      *44.4*
  StableLM Tuned             62.5       71.2       53.6         54.8        52.4       31.1       33.4
  StableLM Base              60.1       67.4       41.2         50.1        44.9       27.0       32.0

作者:

Tom Jobbins

数据集大小:

6.76 GB