这是GPTQ 4Bit Groupsize 128 Pre-Quantized Model，要获取完整的模型(fp32版本)，请访问 https://huggingface.co/NousResearch/gpt4-x-vicuna-13b

使用了 https://huggingface.co/eachadea/vicuna-13b-1.1 作为基础模型

在Teknium的GPTeacher数据集、Teknium未发布的角色扮演v2数据集、WizardLM Uncensored数据集、GPT-4-LLM Uncensored数据集和Nous Research Instruct数据集进行了微调

大约有180,000个指令，全部来自GPT-4，清除了任何OpenAI的审查/"作为一个AI语言模型"等信息

基础模型仍然受到OpenAI的审查。很快将发布一个新版本，其中包含了从 https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltere 清理的内容

在8个A100-80GB GPU上进行了5个时期的训练，遵循了Alpaca deepspeed训练代码

提示的格式是 Alpaca:

### Instruction:

### Response:

或者

### Instruction:

### Input:

### Response:

Nous Research Instruct 数据集即将发布

GPTeacher，Roleplay v2由 https://huggingface.co/teknium 提供

Wizard LM由 https://github.com/nlpxucan 提供

Nous Research Instruct 数据集由 https://huggingface.co/karan4d 和 https://huggingface.co/huemin 提供

计算由我们的项目赞助商 https://redmond.ai/ 提供