Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

这是一个4位128G GPTQ的 chansung's gpt4-alpaca-lora-13b 。

如何在文本生成网络用户界面中轻松下载和使用此模型

正常打开文本生成网络用户界面。

创建命令为：

CUDA_VISIBLE_DEVICES=0 python3 llama.py /content/gpt4-alpaca-lora-13B-HF c4 --wbits 4 --true-sequential --act-order --groupsize 128 --save_safetensors /content/gpt4-alpaca-lora-13B-GPTQ-4bit-128g.safetensors

用于克隆最新的Triton GPTQ-for-LLaMa存储库以使用llama_inference.py进行推理，或在text-generation-webui中使用：

# Clone text-generation-webui, if you don't already have it
git clone https://github.com/oobabooga/text-generation-webui
# Make a repositories directory
mkdir -p text-generation-webui/repositories
cd text-generation-webui/repositories
# Clone the latest GPTQ-for-LLaMa code inside text-generation-webui
git clone https://github.com/qwopqwop200/GPTQ-for-LLaMa

还有一个no-act-order.safetensors文件，可以与oobabooga的GPTQ-for-LLaMa分支一起使用；它不需要最新的GPTQ代码。

Discord

有关进一步的支持以及关于这些模型和人工智能的讨论，请加入我们的：

TheBloke AI's Discord server

感谢和如何贡献。

感谢 chirper.ai 团队！

我收到很多人的询问是否可以进行贡献。我喜欢提供模型并帮助人们，并且非常乐意能够花更多时间来做这些事情，也愿意扩展到像精细调整/训练等新项目。

如果您有能力和意愿进行贡献，我将非常感激，并将帮助我继续提供更多模型，并开始进行新的AI项目。

捐助者将优先获得有关任何和所有AI / LLM /模型问题和请求的支持，可以访问私人Discord房间，以及其他好处。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别鸣谢：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

感谢所有慷慨的赞助者和捐赠者！

原始模型卡片如下

此存储库提供了LoRA检查点，使LLaMA成为类似聊天机器人的语言模型。该检查点是在8xA100（40G）DGX系统上进行以下设置后的指令操作的输出。

• 训练脚本：借用自官方 Alpaca-LoRA 实现
• 训练脚本：

python finetune.py \
    --base_model='decapoda-research/llama-30b-hf' \
    --data_path='alpaca_data_gpt4.json' \
    --num_epochs=10 \
    --cutoff_len=512 \
    --group_by_length \
    --output_dir='./gpt4-alpaca-lora-30b' \
    --lora_target_modules='[q_proj,k_proj,v_proj,o_proj]' \
    --lora_r=16 \
    --batch_size=... \
    --micro_batch_size=...

您可以从W＆B报告 here 中找到训练情况。