Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

这是合并了 chansung's gpt4-alpaca-lora-13b 的 HF 格式合并模型。

Discord

如需进一步支持以及对这些模型和人工智能的讨论，请加入我们：

TheBloke AI's Discord server

感谢与如何贡献

感谢 chirper.ai 团队！

有很多人问我是否可以贡献。我喜欢提供模型和帮助人们，很愿意花更多时间进行提供，以及扩展到新项目，如精细调整/训练。

如果您能够并愿意贡献，我将非常感激，并将帮助我继续提供更多模型，开始新的人工智能项目。

捐赠者将获得所有关于AI/LLM/模型问题和请求的优先支持，可以进入私人 Discord 房间，以及其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon 特别感谢：Aemon Algiz, Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman.

感谢所有慷慨的赞助者和捐赠者！

原始模型卡片

此存储库附带了 LoRA 的检查点，以使 LLaMA 成为像聊天机器人一样的语言模型。此检查点是按照以下设置在 8xA100(40G) DGX 系统上进行指令跟踪微调过程的输出。

• 训练脚本：借用自官方 Alpaca-LoRA 实现
• 训练脚本：

python finetune.py \
    --base_model='decapoda-research/llama-30b-hf' \
    --data_path='alpaca_data_gpt4.json' \
    --num_epochs=10 \
    --cutoff_len=512 \
    --group_by_length \
    --output_dir='./gpt4-alpaca-lora-30b' \
    --lora_target_modules='[q_proj,k_proj,v_proj,o_proj]' \
    --lora_r=16 \
    --batch_size=... \
    --micro_batch_size=...

您可以从 W&B 报告 here 中了解训练的情况。