Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Dromedary-65B-LoRA HF

这些文件是将 delta weights of IBM's Dromedary 65B LoRA 与原始Llama 65B模型合并后的结果。

可用仓库

• 4bit GPTQ models for GPU inference
• 4bit and 5bit GGML models for CPU inference in llama.cpp
• float16 unquantised model for GPU

Discord

如需进一步支持和讨论有关这些模型和人工智能的问题，请加入我们的群组：

TheBloke AI's Discord server

感谢及如何做出贡献

感谢 chirper.ai 团队！

很多人问我是否可以做出贡献。我喜欢提供模型并帮助他人，如果能有更多时间从事这方面的工作，也很愿意扩展到新的项目，如模型微调/训练等等。

如果您有能力和意愿做出贡献，我将非常感激，并将有助于我持续提供更多模型，并开始新的人工智能项目。

捐赠者将享有任何与AI/LLM/模型相关的问题和请求的优先支持，可以使用私人Discord房间，以及其他的好处。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别鸣谢：Aemon Algiz, Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman。

感谢所有慷慨的赞助人和捐赠者！

原始Dromedary模型卡片

请参阅 https://github.com/IBM/Dromedary#model-weights 以获取说明。

模型详情

模型类型：Dromedary是一种基于Transformer架构、经过最少人工监督训练的开源自对齐语言模型。

模型日期：Dromedary的训练时间为2023年4月至2023年5月，但其知识仅涵盖至2021年9月。

开发模型的机构：Dromedary团队是CMU和IBM的联合努力。

获取更多信息的论文或资源： https://mitibmdemos.draco.res.ibm.com/dromedary

许可证：LLaMA的非商业定制许可证

有关模型的问题或意见反馈，请联系： https://github.com/IBM/Dromedary/issues

预期用途

主要预期用途：Dromedary的主要用途是对大型语言模型的对齐进行研究。

主要预期用户：该模型的主要预期用户是人工智能研究人员。

Delta权重

我们使用以下配置进行LoRA权重：

--lora_target_modules='[q_proj,k_proj,v_proj,o_proj]' \
--lora_r=16 \

训练数据集

少于300行人工注释（包括