Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

WizardLM: 使用Evol-Instruct的指令跟随LLM

这些文件是将 delta weights 与原始的Llama7B模型合并的结果。

合并的代码提供在 WizardLM official Github repo 中。

原始的WizardLM增量是float32，这会导致生成的HF Repository也是float32，并且比普通的7B Llama模型要大得多。

因此，对于这个Repository，我将合并后的模型转换为float16，以生成一个标准尺寸的7B模型。

在保存之前，可以通过运行model = model.half()实现。

WizardLM-7B HF

该Repository包含了用于GPU推理的完整的未量化模型文件，可以作为量化/转换的基础。

其他可用的Repository

• 4bit GGML models for CPU inference
• 4bit GPTQ models for GPU inference

Discord

要获取进一步的支持，并讨论这些模型和人工智能的一般问题，请加入我们： TheBloke AI's Discord server

感谢以及如何做出贡献

感谢 chirper.ai 团队！

我收到很多人问我是否能够做出贡献。我喜欢提供模型并帮助人们，并且很愿意能够花更多的时间来做这些事情，同时还希望扩展到新的项目，如微调/训练。

如果您能够和愿意做出贡献，我将非常感激，并且这将帮助我继续提供更多的模型，并开始新的人工智能项目。

捐赠者将在任何和所有的人工智能/LLM/模型问题和请求上得到优先支持，可以进入私人Discord房间，并享受其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别致谢：Aemon Algiz, Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman.

感谢所有慷慨的赞助者和捐助者！

原始模型信息

完整详情请参阅模型的Github页面

WizardLM official Github repo .

Evol-Instruct 概述

Evol-Instruct是一种使用LLMs而不是人类自动批量生成各种难度级别和技能范围的开放领域指令的新方法，以提高LLMs的性能。

尽管在我们的复杂度平衡测试集上，WizardLM-7B在高复杂度指令上表现优于ChatGPT，但在整个测试集上它仍然落后于ChatGPT，我们也认为WizardLM仍处于初级阶段。这个Repository将继续改进WizardLM，进行更大规模的训练，添加更多的训练数据，并创新更先进的大模型训练方法。