Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Koala: 学术研究的对话模型

这个存储库包含了在伯克利大学开发的Koala 13B模型的权重数据。它是通过将 https://huggingface.co/young-geng/koala 的差异与原始的Llama 13B模型相结合得到的结果。

然后将这个版本转换为HF格式。

我的Koala存储库

我有以下可用的Koala模型存储库：

13B模型：

• Unquantized 13B model in HF format
• GPTQ quantized 4bit 13B model in pt and safetensors formats
• 4-bit, 5-bit and 8-bit GGML models for llama.cpp

7B模型：

• Unquantized 7B model in HF format
• Unquantized 7B model in GGML format for llama.cpp
• GPTQ quantized 4bit 7B model in pt and safetensors formats
• 4-bit, 5-bit and 8-bit GGML models for llama.cpp

如何合并Koala差异权重

使用以下命令合并Koala差异权重：

git clone https://github.com/young-geng/EasyLM

git clone https://huggingface.co/TheBloke/llama-13b

mkdir koala_diffs && cd koala_diffs && wget https://huggingface.co/young-geng/koala/resolve/main/koala_13b_diff_v2

cd EasyLM

PYTHON_PATH="${PWD}:$PYTHONPATH" python \
-m EasyLM.models.llama.convert_torch_to_easylm \
--checkpoint_dir=/content/llama-13b \
--output_file=/content/llama-13b-LM \
--streaming=True

PYTHON_PATH="${PWD}:$PYTHONPATH" python \
-m EasyLM.scripts.diff_checkpoint --recover_diff=True \
--load_base_checkpoint='params::/content/llama-13b-LM' \
--load_target_checkpoint='params::/content/koala_diffs/koala_13b_diff_v2' \
--output_file=/content/koala_13b.diff.weights \
--streaming=True

PYTHON_PATH="${PWD}:$PYTHONPATH" python \
-m EasyLM.models.llama.convert_easylm_to_hf --model_size=13b \
--output_dir=/content/koala-13B-HF \
--load_checkpoint='params::/content/koala_13b.diff.weights' \
--tokenizer_path=/content/llama-13b/tokenizer.model

Discord

如需进一步支持，以及关于这些模型和人工智能的讨论，请加入我们：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

很多人询问是否可以贡献。我喜欢提供模型和帮助他人，并希望能够花更多时间从事这方面工作，以及扩展到新的项目，如精调/训练。

如果您有能力和愿意进行贡献，我将非常感激，并且这将帮助我继续提供更多模型，并开始进行新的人工智能项目。

捐助者将在所有关于人工智能/LLM/模型的问题和请求上获得优先支持，可以进入私人Discord房间，并享受其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别感谢 : Aemon Algiz, Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman.

感谢所有慷慨的赞助人和捐助者！

更多信息

请查看以下链接以了解有关伯克利Koala模型的更多信息。

• Blog post
• Online demo
• EasyLM: training and serving framework on GitHub
• Documentation for running Koala locally

许可证

模型权重仅供学术研究使用，受 model License of LLaMA , Terms of Use of the data generated by OpenAI 和 Privacy Practices of ShareGPT 的约束。严禁将模型权重用于任何其他用途，包括但不限于商业用途。