英文

作为基本模型,使用了 https://huggingface.co/eachadea/vicuna-13b-1.1

在Teknium的GPTeacher数据集、未发布的角色扮演v2数据集、GPT-4-LLM数据集(未经审查)、WizardLM(未经审查)和Nous Research Instruct数据集上进行了微调

大约有18万个指令,全部来自GPT-4,已清除任何OpenAI审查/“作为AI语言模型”等

基本模型仍然有OpenAI的审查。很快将发布新版本,其中去除了来自 https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltere 的审查

使用8个A100-80GB GPU进行了5轮次的训练,遵循了Alpaca深度加速训练代码

Nous Research Instruct数据集将很快发布

提示格式为Alpaca:

### Instruction:

### Response:

或者

### Instruction:

### Input:

### Response:

https://huggingface.co/teknium 提供的GPTeacher、角色扮演v2

https://github.com/nlpxucan 提供的Wizard LM

https://huggingface.co/karan4d https://huggingface.co/huemin 提供的Nous Research Instruct数据集

基准测试结果:

    "arc_challenge": {
      "acc": 0.4189419795221843,
      "acc_stderr": 0.01441810695363901,
      "acc_norm": 0.439419795221843,
      "acc_norm_stderr": 0.014503747823580123
    },
    "arc_easy": {
      "acc": 0.7159090909090909,
      "acc_stderr": 0.009253921261885768,
      "acc_norm": 0.5867003367003367,
      "acc_norm_stderr": 0.010104361780747527
    },
    "boolq": {
      "acc": 0.8137614678899082,
      "acc_stderr": 0.006808882985424063
    },
    "hellaswag": {
      "acc": 0.5790679147580163,
      "acc_stderr": 0.004926996830194234,
      "acc_norm": 0.7518422624975104,
      "acc_norm_stderr": 0.004310610616845708
    },
    "openbookqa": {
      "acc": 0.288,
      "acc_stderr": 0.02027150383507522,
      "acc_norm": 0.436,
      "acc_norm_stderr": 0.0221989546414768
    },
    "piqa": {
      "acc": 0.7529923830250272,
      "acc_stderr": 0.010062268140772622,
      "acc_norm": 0.749727965179543,
      "acc_norm_stderr": 0.01010656188008979
    },
    "winogrande": {
      "acc": 0.6495659037095501,
      "acc_stderr": 0.01340904767667019
    }

计算由我们项目赞助商 https://redmond.ai/ 提供