Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Koala: 用于学术研究的对话模型

这个仓库包含了由伯克利大学制作的Koala 7B模型的权重。它是通过将 https://huggingface.co/young-geng/koala 的差异与原始的Llama 7B模型合并而成的。

然后将此版本转换为HF格式。

我的Koala仓库

我有以下Koala模型仓库可供使用：

13B模型：

• Unquantized 13B model in HF format
• GPTQ quantized 4bit 13B model in pt and safetensors formats
• GPTQ quantized 4bit 13B model in GGML format for llama.cpp

7B模型：

• Unquantized 7B model in HF format
• Unquantized 7B model in GGML format for llama.cpp
• GPTQ quantized 4bit 7B model in pt and safetensors formats
• GPTQ quantized 4bit 7B model in GGML format for llama.cpp

如何合并Koala增量权重

使用以下命令合并Koala增量权重：

git clone https://github.com/young-geng/EasyLM

git clone https://huggingface.co/nyanko7/LLaMA-7B

git clone https://huggingface.co/young-geng/koala koala_diffs

cd EasyLM

PYTHON_PATH="${PWD}:$PYTHONPATH" python \
-m EasyLM.models.llama.convert_torch_to_easylm \
--checkpoint_dir=/content/LLaMA-7B \
--output_file=/content/llama-7B-LM \
--streaming=True

PYTHON_PATH="${PWD}:$PYTHONPATH" python \
-m EasyLM.scripts.diff_checkpoint --recover_diff=True \
--load_base_checkpoint='params::/content/llama-7B-LM' \
--load_target_checkpoint='params::/content/koala_diffs/koala_7b_diff_v2' \
--output_file=/content/koala_7b.diff.weights \
--streaming=True

PYTHON_PATH="${PWD}:$PYTHONPATH" python \
-m EasyLM.models.llama.convert_easylm_to_hf --model_size=7b \
--output_dir=/content/koala-7B-HF \
--load_checkpoint='params::/content/koala_7b.diff.weights' \
--tokenizer_path=/content/LLaMA-7B/tokenizer.model

Discord

欢迎加入我们的讨论组，进一步支持和讨论这些模型和人工智能等话题：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

很多人问我是否可以进行贡献。我乐于提供模型和帮助他人，并希望能够有更多时间做这些事情，同时扩大到新的项目，如微调/训练。

如果您有能力和愿意进行贡献，我将非常感激，并且这将帮助我继续提供更多模型，并开始进行新的人工智能项目。

捐赠者将优先获得有关任何AI/LLM/模型问题和请求的支持，可以访问一个私密的Discord房间，以及其他好处。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别感谢名单：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

感谢所有慷慨捐赠的赞助人和捐赠者！

更多信息

请查看以下链接，了解有关伯克利Koala模型的更多信息。

• Blog post
• Online demo
• EasyLM: training and serving framework on GitHub
• Documentation for running Koala locally

许可证

模型权重仅供学术研究使用，受 model License of LLaMA 、 Terms of Use of the data generated by OpenAI 和 Privacy Practices of ShareGPT 的约束。严禁将模型权重用于任何其他用途，包括但不限于商业使用。