模型:
TheBloke/OpenAssistant-SFT-7-Llama-30B-HF
Chat & support: my new Discord server
Want to contribute? TheBloke's Patreon page
这是 HF 格式的 OpenAssistant's LLaMA 30B SFT 7 仓库的结果。
这是将上述仓库的 XORs 与原始的 Llama 30B 权重合并的结果。
这是 OpenAssistant 使用 Llama 30B 模型进行的第 7 个 epoch 的训练结果。
欢迎加入我们讨论有关这些模型和 AI 的支持小组:
感谢 chirper.ai 团队!
我收到很多人询问是否可以贡献。我喜欢提供模型和帮助其他人,并且非常乐意能够投入更多时间做这些,同时还希望能扩展到新的项目,如微调/训练。
如果你有能力和意愿贡献,我将非常感激,并且这将帮助我提供更多模型,并开始新的 AI 项目。
捐赠者将在所有有关 AI/LLM/模型的问题和请求上享有优先支持,可以访问私人 Discord 房间,并获得其他福利。
Patreon 特别感谢:Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。
感谢所有慷慨的赞助者和捐赠者!
llama-30b-sft-7: dtype: fp16 log_dir: "llama_log_30b" learning_rate: 1e-5 model_name: /home/ubuntu/Open-Assistant/model/model_training/.saved/llama-30b-super-pretrain/checkpoint-3500 #model_name: OpenAssistant/llama-30b-super-pretrain output_dir: llama_model_30b deepspeed_config: configs/zero3_config_sft.json weight_decay: 0.0 residual_dropout: 0.0 max_length: 2048 use_flash_attention: true warmup_steps: 20 gradient_checkpointing: true gradient_accumulation_steps: 12 per_device_train_batch_size: 2 per_device_eval_batch_size: 3 eval_steps: 101 save_steps: 485 num_train_epochs: 4 save_total_limit: 3 use_custom_sampler: true sort_by_length: false #save_strategy: steps save_strategy: epoch datasets: - oasst_export: lang: "bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk" input_file_path: 2023-04-12_oasst_release_ready_synth.jsonl.gz val_split: 0.05 - vicuna: val_split: 0.05 max_val_set: 800 fraction: 1.0 - dolly15k: val_split: 0.05 max_val_set: 300 - grade_school_math_instructions: val_split: 0.05 - code_alpaca: val_split: 0.05 max_val_set: 250