Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

VicUnlocked-30B-LoRA GPTQ

这是 Neko Institute of Science's VicUnLocked 30B LoRA 的一个HF格式的float16仓库。

它是将上述的 LoRA 与原始的 LLaMA 30B 合并后的结果。

可用的仓库

• 4-bit, 5-bit and 8-bit GGML models for CPU (+CUDA) inference 。
• 4-bit GPTQ model for GPU inference 。
• float16 HF format model for GPU inference and further conversions 。

Discord

如需进一步支持或讨论有关这些模型和人工智能的问题，请加入我们的 Discord：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

很多人问我是否可以共享贡献。我喜欢提供模型并帮助他人，我很愿意能够投入更多时间进行这些工作，并且扩大到新的项目，如微调/训练。

如果您有能力和愿意贡献，我将非常感激，并且这将帮助我继续提供更多模型，并开始新的人工智能项目。

捐赠者将在任何有关AI/LLM/模型的问题和请求上获得优先支持，可以访问私人 Discord 房间，以及其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon 特别感谢名单：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

感谢所有慷慨的赞助者和捐赠者！

原始模型卡片

转换工具

https://github.com/practicaldreamer/vicuna_to_alpaca

训练工具

https://github.com/oobabooga/text-generation-webui

目前我正在使用数据集的 2023.05.04v0 版本，并进行全上下文训练。

注释：

因为完整上下文的 30B 训练时间太长了，所以我只会训练 1 个周期。这一个周期要花我 8 天，哈哈，但幸运的是这些 LoRA 在第一个周期感觉完全可用，就像我 13B 版本的那个一样。此外，我将几乎每天上传检查点。如果有足够的需求，我可以再训练一个周期。

更新：由于我不会超过 1 个周期的训练，@Aeala 正在进行完整的 3 个 https://huggingface.co/Aeala/VicUnlocked-alpaca-half-30b-LoRA 训练，但如果您在意这个问题，它的上下文只有一半。此外，@Aeala 差不多完成了。

更新：第 1 个周期的训练已完成，这 8 天确实感觉很长。我只有一个 A6000，伙计们，我能做的事情有限。还有，RIP gozfarb，我不知道他怎么了。

如何测试？

训练日志

https://wandb.ai/neko-science/VicUnLocked/runs/vx8yzwi7