注册
资讯
学习
基础知识 理论实践 学习教程
企业 招聘
下载
模型 数据集
AI工具箱
企业服务
EVA 智能HR 视频AI
ChatGPT 人工智能应用 人工智能未来 计算机视觉
热门新闻
机器人 康奈尔大学

康奈尔大学推出新的社交机器人，更柔软，更人性化
行业 人工智能

为什么数据污染对LLM来说是一个大问题
行业 人工智能

所以，能动手就别吵吵了
常用工具
ChatGPT

OpenAI旗下AI对话工具
Midjourney

AI图像和插画生成工具，测试测试测试测试测试测测试
Stable Diffusion

StabilityAI推出的文本到图像生成AI
GitHub Copilot

GitHub AI编程工具
文心一言

百度推出的基于文心大模型的AI对话互动工具
讯飞星火认知大模型

科大讯飞推出的类ChatGPT的讯飞星火认知大模型
心流

阿里旗下推出的AI搜索助手

模型:

TheBloke/airoboros-13B-GPTQ

任务:

文本生成

类库:

Transformers

其他:

llama text-generation-inference

许可:

other
模型介绍 文件清单
英文

Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Airoboros 13B GPTQ 4bit

这些文件是用于 Jon Durbin's Airoboros 13B 的GPTQ 4位模型文件。

这是使用 GPTQ-for-LLaMa 进行4位量化的结果。

其他可用的存储库

如何轻松下载和在文本生成Web界面中使用此模型

正常打开文本生成Web界面。

  • 点击“模型”选项卡。
  • 在“下载自定义模型或LoRA”下，输入“TheBloke/Airoboros-13B-GPTQ”。
  • 点击“下载”。
  • 等待直到下载完成。
  • 点击左上角“模型”旁边的“刷新”图标。
  • 在“模型下拉菜单”中选择刚刚下载的模型“Airoboros-13B-GPTQ”。
  • 如果在右下角看到错误，请忽略它-它是暂时的。
  • 在右侧填写GPTQ参数：位数=4，组大小=128，模型类型=Llama。
  • 在右上方点击“保存此模型的设置”。
  • 在右上方点击“重新加载模型”。
  • 等待加载完成后，点击“文本生成”选项卡并输入提示！

    • 提供的文件

    兼容文件- Airoboros-13B-GPTQ-4bit-128g.no-act-order.safetensors

    在“main”分支中-默认分支-您将找到“Airoboros-13B-GPTQ-4bit-128g.no-act-order.safetensors”。

    它与所有GPTQ-for-LLaMa的版本兼容。它具有最大的兼容性。

    它是在没有“--act-order”参数的情况下创建的，以确保完全兼容。

    • wizard-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors
      • 与GPTQ-for-LLaMa代码的所有版本兼容，包括Triton和CUDA分支
      • 与AutoGPTQ兼容。
      • 与文本生成Web界面的一键安装程序兼容
      • 参数：Groupsize = 128. No act-order.
      • 用于创建GPTQ的命令： 
        python llama.py /workspace/models/jondurbin_airoboros-13b  wikitext2 --wbits 4 --true-sequential --groupsize 128  --save_safetensors /workspace/jon-13b/gptq/Airoboros-13B-GPTQ-4bit-128g.no-act-order.safetensors

    Discord

    如需进一步支持，并对这些模型和人工智能进行讨论，请加入我们：

    TheBloke AI's Discord server

    感谢及如何做出贡献

    感谢 chirper.ai 团队！

    我有很多人问我是否可以做出贡献。我喜欢提供模型并帮助人们，并且很愿意能够花更多时间进行这些工作，以及扩展到新的项目，如微调/训练。

    如果您能够提供并愿意贡献，我将非常感激，并且将帮助我继续提供更多模型，并开始进行新的人工智能项目。

    捐赠者将优先获得有关AI/LLM/模型的任何问题和请求的支持，可以访问私人Discord聊天室以及其他好处。

    Patreon特别致谢：Aemon Algiz，Dmitriy Samsonov，Nathan LeClaire，Trenton Dambrowitz，Mano Prime，David Flickinger，vamX，Nikolai Manek，senxiiz，Khalefa Al-Ahmad，Illia Dulskyi，Jonathan Leane，Talal Aujan，V. Lukas，Joseph William Delisle，Pyrater，Oscar Rangel，Lone Striker，Luke Pendergrass，Eugene Pentland，Sebastain Graf，Johann-Peter Hartman。

    感谢所有慷慨的赞助人和捐赠者！

    Airoboros-13B原始模型卡片

    概述

    这是一个经过微调的13b参数LlaMa模型，使用由 https://github.com/jondurbin/airoboros 创建的完全合成的训练数据

    评估（gpt4判断）

    model raw score gpt-3.5 adjusted score
    airoboros-13b 17947 98.087
    gpt35 18297 100.0
    gpt4-x-alpasta-30b 15612 85.33
    manticore-13b 15856 86.66
    vicuna-13b-1.1 16306 89.12
    wizard-vicuna-13b-uncensored 16287 89.01
    个问题得分，带有shareGPT链接（gpt-4生成的200个提示）

    wb-13b-u是Wizard-Vicuna-13b-Uncensored

    airoboros-13b gpt35 gpt4-x-alpasta-30b manticore-13b vicuna-13b-1.1 wv-13b-u link
    80 95 70 90 85 60 12316321
    20 95 40 30 90 80 12317321
    100 100 100 95 95 100 12318321
    90 100 85 60 95 100 12319321
    95 90 80 85 95 75 12320321
    100 95 90 95 98 92 12321321
    50 100 80 95 60 55 12322321
    70 90 80 60 85 40 12323321
    100 95 50 85 40 60 12324321
    85 60 55 65 50 70 12325321
    95 100 85 90 60 75 12326321
    100 95 70 80 50 85 12327321
    100 95 80 70 60 90 12328321
    95 100 70 85 90 90 12329321
    80 95 90 60 30 85 12330321
    60 95 0 75 50 40 12331321
    100 95 90 98 95 95 12332321
    60 85 40 50 20 0 12333321
    100 90 85 95 95 80 12334321
    100 95 100 95 90 95 12335321
    95 90 96 80 92 88 12336321
    95 92 90 93 89 91 12337321
    95 93 90 94 96 92 12338321
    95 90 93 88 92 85 12339321
    95 90 85 96 88 92 12340321
    95 95 90 93 92 91 12341321
    95 98 80 97 99 96 12342321
    95 93 90 87 92 89 12343321
    90 85 95 80 92 75 12344321
    90 85 95 93 80 92 12345321
    95 92 90 91 93 89 12346321
    100 95 90 85 80 95 12347321
    95 97 93 92 96 94 12348321
    95 93 94 90 88 92 12349321
    90 95 98 85 96 92 12350321
    90 88 85 80 82 84 12351321
    90 95 85 87 92 88 12352321
    95 97 96 90 93 92 12353321
    95 93 92 90 89 91 12354321
    90 95 93 92 94 91 12355321
    90 85 95 80 88 75 12356321
    85 90 95 88 92 80 12357321
    90 95 92 85 80 87 12358321
    85 90 95 80 88 75 12359321
    85 80 75 90 70 82 12360321
    90 85 95 92 93 80 12361321
    90 95 75 85 80 70 12362321
    85 90 80 88 82 83 12363321
    85 90 95 92 88 80 12364321
    85 90 80 75 95 88 12365321
    85 90 80 88 84 92 12366321
    80 90 75 85 70 95 12367321
    90 88 85 80 92 83 12368321
    85 75 90 80 78 88 12369321
    85 90 80 82 75 88 12370321
    90 85 40 95 80 88 12371321
    85 95 90 75 88 80 12372321
    85 95 90 92 89 88 12373321
    80 85 75 60 90 70 12374321
    85 90 87 80 88 75 12375321
    85 80 75 50 90 80 12376321
    95 80 90 85 75 82 12377321
    85 90 80 70 95 88 12378321
    90 95 70 85 80 75 12379321
    90 85 70 75 80 60 12380321
    95 90 70 50 85 80 12381321
    80 85 40 60 90 95 12382321
    75 60 80 55 70 85 12383321
    90 85 60 50 80 95 12384321
    45 85 60 20 65 75 12385321
    85 90 30 60 80 70 12386321
    90 95 80 40 85 70 12387321
    85 90 70 75 80 95 12388321
    90 70 50 20 60 40 12389321
    90 95 75 60 85 80 12390321
    85 80 60 70 65 75 12391321
    90 85 80 75 82 70 12392321
    90 95 80 70 85 75 12393321
    85 75 30 80 90 70 12394321
    85 90 50 70 80 60 12395321
    100 95 98 99 97 96 12396321
    95 90 92 93 91 89 12397321
    95 92 90 85 88 91 12398321
    100 95 98 97 96 99 12399321
    100 100 100 90 100 95 123100321
    100 95 98 97 94 99 123101321
    95 90 92 93 94 91 123102321
    100 95 98 90 96 95 123103321
    95 96 92 90 89 93 123104321
    100 95 93 90 92 88 123105321
    100 100 98 97 99 100 123106321
    95 90 92 85 93 94 123107321
    95 93 90 92 96 91 123108321
    95 96 92 90 93 91 123109321
    95 90 92 93 91 89 123110321
    100 98 95 97 96 99 123111321
    90 95 85 88 92 87 123112321
    95 93 90 92 89 88 123113321
    100 95 97 90 96 94 123114321
    95 93 90 92 94 91 123115321
    95 92 90 93 94 88 123116321
    95 92 60 97 90 96 123117321
    95 90 92 93 91 89 123118321
    95 90 97 92 91 93 123119321
    90 95 93 85 92 91 123120321
    95 90 40 92 93 85 123121321
    100 100 95 90 95 90 123122321
    90 95 96 98 93 92 123123321
    90 95 92 89 93 94 123124321
    100 95 100 98 96 99 123125321
    100 100 95 90 100 90 123126321
    90 85 88 92 87 91 123127321
    95 97 90 92 93 94 123128321
    90 95 85 88 92 89 123129321
    95 93 90 92 94 91 123130321
    90 95 85 80 88 82 123131321
    95 90 60 85 93 70 123132321
    95 92 94 93 96 90 123133321
    95 90 85 93 87 92 123134321
    95 96 93 90 97 92 123135321
    100 0 0 100 0 0 123136321
    60 100 0 80 0 0 123137321
    0 100 60 0 0 90 123138321
    100 100 0 100 100 100 123139321
    100 100 100 100 95 100 123140321
    100 100 100 50 90 100 123141321
    100 100 100 100 95 90 123142321
    100 100 100 95 0 100 123143321
    50 95 20 10 30 85 123144321
    100 100 60 20 30 40 123145321
    100 0 0 0 0 100 123146321
    0 100 60 0 0 80 123147321
    50 100 20 90 0 10 123148321
    100 100 100 100 100 100 123149321
    100 100 100 100 100 100 123150321
    40 100 95 0 100 40 123151321
    100 100 100 100 80 100 123152321
    100 100 100 0 90 40 123153321
    0 100 100 50 70 20 123154321
    100 100 50 90 0 95 123155321
    100 95 90 85 98 80 123156321
    95 98 90 92 96 89 123157321
    90 95 75 85 80 82 123158321
    95 98 50 92 96 94 123159321
    95 90 0 93 92 94 123160321
    95 90 85 92 80 88 123161321
    95 93 75 85 90 92 123162321
    90 95 88 85 92 89 123163321
    100 100 100 95 97 98 123164321
    85 40 30 95 90 88 123165321
    90 95 92 85 88 93 123166321
    95 96 92 90 89 93 123167321
    90 95 85 80 92 88 123168321
    95 98 65 90 85 93 123169321
    95 92 96 97 90 89 123170321
    95 90 92 91 89 93 123171321
    95 90 80 75 95 90 123172321
    92 40 30 95 90 93 123173321
    90 92 85 88 89 87 123174321
    95 80 90 92 91 88 123175321
    95 93 92 90 91 94 123176321
    100 98 95 90 92 96 123177321
    95 92 80 85 90 93 123178321
    95 98 90 88 97 96 123179321
    90 95 85 88 86 92 123180321
    100 100 100 100 100 100 123181321
    90 95 85 96 92 88 123182321
    100 98 95 99 97 96 123183321
    95 92 70 90 93 89 123184321
    95 90 88 92 94 93 123185321
    95 90 93 92 85 94 123186321
    95 93 90 87 92 91 123187321
    95 93 90 96 92 91 123188321
    95 97 85 96 98 90 123189321
    95 92 90 85 93 94 123190321
    95 96 92 90 97 93 123191321
    95 93 96 94 90 92 123192321
    95 94 93 92 90 89 123193321
    90 85 95 80 87 75 123194321
    95 94 92 93 90 96 123195321
    95 100 90 95 95 95 123196321
    100 95 85 100 0 90 123197321
    100 95 90 95 100 95 123198321
    95 90 60 95 85 80 123199321
    100 95 90 98 97 99 123200321
    95 90 85 95 80 92 123201321
    100 95 100 98 100 90 123202321
    100 95 80 85 90 85 123203321
    100 90 95 85 95 100 123204321
    95 90 85 80 88 92 123205321
    100 100 0 0 100 0 123206321
    100 100 100 50 100 75 123207321
    100 100 0 0 100 0 123208321
    0 100 0 0 0 0 123209321
    100 100 50 0 0 0 123210321
    100 100 100 100 100 95 123211321
    100 100 50 0 0 0 123212321
    100 100 0 0 100 0 123213321
    90 85 80 95 70 75 123214321
    100 100 0 0 0 0 123215321

    训练数据

    我使用越狱提示生成了合成指令，这导致了一些可能会被其他模型审查的训练数据，例如有关合成毒品、制作家庭制式火焰喷射器等的提示。请注意，这些都是由ChatGPT生成的，而不是我生成的。我的目标只是在尽可能不被审查的情况下测试ChatGPT的一些功能，而不是故意制造任何有害/危险等内容。

    我使用的越狱提示是在使用“--uncensored”标志时python代码中的默认提示： https://github.com/jondurbin/airoboros/blob/main/airoboros/self_instruct.py#L39

    我还进行了几次手动清理来删除一些不良的提示，但主要保留数据原样。最初，该模型在数学/外推、封闭问题回答（严重臆造）和编码方面表现相当糟糕，因此我进行了一次附加合成指令的微调以解决这些问题。

    初始指令和最终微调指令将很快发布。

    微调方法

    我使用了出色的 FastChat 模块，运行方式为：

    source /workspace/venv/bin/activate

export NCCL_P2P_DISABLE=1
export NCCL_P2P_LEVEL=LOC

torchrun --nproc_per_node=8 --master_port=20001 /workspace/FastChat/fastchat/train/train_mem.py \
  --model_name_or_path /workspace/llama-13b \
  --data_path /workspace/as_conversations.json \
  --bf16 True \
  --output_dir /workspace/airoboros-uncensored-13b \
  --num_train_epochs 3 \
  --per_device_train_batch_size 20 \
  --per_device_eval_batch_size 20 \
  --gradient_accumulation_steps 2 \
  --evaluation_strategy "steps" \
  --eval_steps 500 \
  --save_strategy "steps" \
  --save_steps 500 \
  --save_total_limit 10 \
  --learning_rate 2e-5 \
  --weight_decay 0. \
  --warmup_ratio 0.04 \
  --lr_scheduler_type "cosine" \
  --logging_steps 1 \
  --fsdp "full_shard auto_wrap offload" \
  --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \
  --tf32 True \
  --model_max_length 2048 \
  --gradient_checkpointing True \
  --lazy_preprocess True

    这在8台NVIDIA 80GB A100上运行了约40个小时。

    提示格式

    提示应与FastChat/vicuna格式完全兼容，例如：

    包含导言部分：

    A chat between a curious user and an artificial intelligence assistant.  The assistant gives helpful, detailed, and polite answers to the user's questions.

USER: [prompt]
<\s>

ASSISTANT:

    或者只是：

    USER: [prompt]
<\s>

ASSISTANT:

    许可证

    该模型根据LLaMA模型许可，数据集根据OpenAI条款许可。其他所有内容均免费。

    作者:

    Tom Jobbins

    数据集大小:

    7.56 GB

    相关推荐