Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Dromedary-65B-LoRA GPTQ

这些文件是将 delta weights of IBM's Dromedary 65B LoRA 与原始的Llama 65B模型合并的结果。

这是使用 GPTQ-for-LLaMa 量化为4位的结果。

可用的仓库

• 4bit GPTQ models for GPU inference
• 4bit and 5bit GGML models for CPU inference in llama.cpp
• float16 unquantised model for GPU

VRAM

我使用2个24GB的4090 GPU测试了该模型，在一个GPU卡OOM之前，它能够返回1500个tokens。

因此，您可能需要预加载一些图层到CPU RAM上，或者在具有超过48GB VRAM的系统上运行。

或者，如果您可以将响应限制在<1500个tokens（例如用于单个提示而不是聊天），那么在48GB VRAM上就应该没有问题。

如何轻松下载和在文本生成-webui中使用此模型

像平常一样打开文本生成-webui UI。

提供的文件

dromedary-65B-GPTQ-4bit.safetensors

您将需要约40GB的VRAM来使用此模型，可以是一个GPU或多个GPU。

这将与GPTQ-for-LLaMa的所有版本一起使用，具有最大的兼容性。

它是使用 --act-order 创建的，以提高量化质量，但没有使用组大小以最小化VRAM需求。

• dromedary-65B-GPTQ-4bit.safetensors
  • 与GPTQ-for-LLaMa代码的所有版本一起使用，包括Triton和CUDA分支
  • 与文本生成-webui的一键安装程序一起使用
  • 参数：组大小=无。act-order。
  • 用于创建GPTQ的命令：

    python llama.py /workspace/drom-65b/HF c4 --wbits 4 --true-sequential --act-order  --save_safetensors /workspace/drom-gptq/dromedary-65B-GPTQ-4bit.safetensors
    

Discord

如需进一步支持，并讨论这些模型和人工智能的相关问题，请加入我们：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

我已经有很多人询问是否可以做出贡献。我喜欢提供模型并帮助人们，并且很愿意能够在此方面花更多时间，以及扩展到新的项目，如微调/训练。

如果您有能力和愿意做出贡献，我将非常感激，并且将有助于我继续提供更多的模型，并开始进行新的人工智能项目。

捐赠者将优先获得有关所有AI/LLM/模型的支持、私人Discord房间访问权限以及其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别感谢 ：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

感谢所有慷慨的赞助者和捐赠者！

原始Dromedary模型卡片

有关说明，请参阅 https://github.com/IBM/Dromedary#model-weights 。

模型细节

模型类型：Dromedary是一种在最小人工监督下训练的开源自对齐语言模型。基本语言模型是基于Transformer架构的LLaMA-65b。

模型日期：Dromedary在2023年4月至2023年5月之间进行了训练，但它的知识只涵盖到2021年9月。

开发模型的组织：Dromedary团队是CMU和IBM的共同努力。

有关详细信息的论文或资源： https://mitibmdemos.draco.res.ibm.com/dromedary

许可证：LLaMA的非商业定制许可证

有关模型的问题或意见发送至何处： https://github.com/IBM/Dromedary/issues

预期用途

主要预期用途：Dromedary主要用于大型语言模型对齐的研究。

主要预期用户：模型的主要预期用户是人工智能研究人员。

Delta权重

我们使用以下配置的LoRA权重：

--lora_target_modules='[q_proj,k_proj,v_proj,o_proj]' \
--lora_r=16 \

训练数据集

少于300行的人类注释数据（包括< 200个种子提示、16个通用原则和5个用于上下文学习的示例）

评估数据集

我们在TruthfulQA、HHH Eval以及Vicuna基准问题上对Dromedary进行评估。