作为基本模型,使用了 https://huggingface.co/eachadea/vicuna-13b-1.1
在Teknium的GPTeacher数据集、未发布的角色扮演v2数据集、GPT-4-LLM数据集(未经审查)、WizardLM(未经审查)和Nous Research Instruct数据集上进行了微调
大约有18万个指令,全部来自GPT-4,已清除任何OpenAI审查/“作为AI语言模型”等
基本模型仍然有OpenAI的审查。很快将发布新版本,其中去除了来自 https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltere 的审查
使用8个A100-80GB GPU进行了5轮次的训练,遵循了Alpaca深度加速训练代码
Nous Research Instruct数据集将很快发布
提示格式为Alpaca:
### Instruction: ### Response:
或者
### Instruction: ### Input: ### Response:
由 https://huggingface.co/teknium 提供的GPTeacher、角色扮演v2
由 https://github.com/nlpxucan 提供的Wizard LM
由 https://huggingface.co/karan4d 和 https://huggingface.co/huemin 提供的Nous Research Instruct数据集
基准测试结果:
"arc_challenge": { "acc": 0.4189419795221843, "acc_stderr": 0.01441810695363901, "acc_norm": 0.439419795221843, "acc_norm_stderr": 0.014503747823580123 }, "arc_easy": { "acc": 0.7159090909090909, "acc_stderr": 0.009253921261885768, "acc_norm": 0.5867003367003367, "acc_norm_stderr": 0.010104361780747527 }, "boolq": { "acc": 0.8137614678899082, "acc_stderr": 0.006808882985424063 }, "hellaswag": { "acc": 0.5790679147580163, "acc_stderr": 0.004926996830194234, "acc_norm": 0.7518422624975104, "acc_norm_stderr": 0.004310610616845708 }, "openbookqa": { "acc": 0.288, "acc_stderr": 0.02027150383507522, "acc_norm": 0.436, "acc_norm_stderr": 0.0221989546414768 }, "piqa": { "acc": 0.7529923830250272, "acc_stderr": 0.010062268140772622, "acc_norm": 0.749727965179543, "acc_norm_stderr": 0.01010656188008979 }, "winogrande": { "acc": 0.6495659037095501, "acc_stderr": 0.01340904767667019 }
计算由我们项目赞助商 https://redmond.ai/ 提供