Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

这是 Chansung GPT4 Alpaca 30B LoRA model 的预合并版本。

它通过将上述存储库中提供的LoRA与原始的Llama 30B模型进行合并而创建。

您至少需要60GB的VRAM才能使用该模型。

对于一个适用于24GB GPU的量化为4比特的模型，请参阅： GPT4-Alpaca-LoRA-30B-GPTQ-4bit-128g

Discord

如需进一步支持以及讨论这些模型和人工智能，请加入我们的讨论组：

TheBloke AI's Discord server

感谢和如何贡献。

感谢 chirper.ai 团队！

我有很多人问我是否可以做出贡献。我很乐意提供模型并帮助人们，并且非常希望能够花更多的时间来做这些工作，以及扩展到新的项目，如微调/训练。

如果您有能力和意愿做出贡献，我将非常感激，并将帮助我继续提供更多的模型，并开始进行新的人工智能项目。

捐赠者将优先获得关于任何和所有AI/LLM/模型问题和请求的支持，可以访问一个私人Discord房间，以及其他好处。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别感谢 ：阿蒙·阿尔吉斯，德米特里·萨姆索诺夫，内森·勒克莱尔，特伦顿·丹布罗维茨，Mano Prime，大卫·弗利金格，vamX，尼古拉伊·马内克，森兹，哈利法·阿尔-阿哈迈德，伊利亚·杜尔斯基，乔纳森·利恩，塔拉尔·奥贾恩，V. Lukas，约瑟夫·威廉·德里斯勒，Pyrater，奥斯卡·朗格尔，孤独的前锋，卢克·彭德格拉斯，尤金·彭特兰，塞巴斯蒂安·格拉夫，约翰-彼得·哈特曼。

感谢所有慷慨的赞助者和捐赠者！

原始的GPT4 Alpaca Lora模型卡片

此存储库附带LoRA检查点，用于将LLaMA转换为类似聊天机器人的语言模型。检查点是在8xA100(40G) DGX系统上使用以下设置进行指导后微调的结果。

• 训练脚本：从官方 Alpaca-LoRA 实现中借用
• 训练脚本：

python finetune.py \
    --base_model='decapoda-research/llama-30b-hf' \
    --data_path='alpaca_data_gpt4.json' \
    --num_epochs=10 \
    --cutoff_len=512 \
    --group_by_length \
    --output_dir='./gpt4-alpaca-lora-30b' \
    --lora_target_modules='[q_proj,k_proj,v_proj,o_proj]' \
    --lora_r=16 \
    --batch_size=... \
    --micro_batch_size=...

您可以从 W&B 报告 here 中了解训练的详细情况。