作为基础模型使用了 https://huggingface.co/eachadea/vicuna-13b-1.1

在Teknium的GPT教师数据集、未发布的角色扮演v2数据集、GPT-4-LLM数据集未经审查、WizardLM未经审查以及Nous Research指导数据集上进行了微调

大约有180,000个指令，全部来自GPT-4，清除了OpenAI的审查/"作为AI语言模型"等内容

基础模型仍然存在OpenAI的审查。很快将发布一个新版本，其中的背山芭会来自 https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltere

使用8个A100-80GB GPU进行了5个时期的训练，遵循了Alpaca deepspeed 训练代码

Nous Research指导数据集即将发布

Prompt格式为Alpaca:

### Instruction:

### Response:

或

### Instruction:

### Input:

### Response:

GPTeacher、Roleplay v2作者为 https://huggingface.co/teknium

WizardLM作者为 https://github.com/nlpxucan

Nous Research指导数据集作者为 https://huggingface.co/karan4d 和 https://huggingface.co/huemin

计算由我们的项目赞助商 https://redmond.ai/ 提供