Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Wizard Mega 13B GPTQ

这个仓库包含了通过 GPTQ-for-LLaMa 进行4位GPTQ格式量化的模型。

这是使用 GPTQ-for-LLaMa 进行4位量化的结果。

可用的仓库

• 4-bit GPTQ models for GPU inference
• 4-bit, 5-bit 8-bit GGML models for llama.cpp CPU (+CUDA) inference
• OpenAccess AI Collective's original float16 HF format repo for GPU inference and further conversions

如何在text-generation-webui中轻松下载和使用此模型

如同正常使用text-generation-webui界面。

提供的文件

wizard-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors

这将与所有版本的GPTQ-for-LLaMa兼容。它具有最大的兼容性。

它是在没有 --act-order 的情况下创建的，以确保与所有UI兼容。

• wizard-mega-13B-GPTQ-4bit-128g.safetensors
  • 使用GPTQ-for-LLaMa代码的所有版本，包括Triton和CUDA分支
  • 与text-generation-webui的一键安装程序一起使用
  • 参数: Groupsize = 128. 不使用act-order.
  • 用于创建GPTQ的命令:

    python llama.py /workspace/models/openaccess-ai-collective_wizard-mega-13b c4 --wbits 4 --true-sequential --groupsize 128  --save_safetensors /workspace/wizard-mega-13b/gptq/wizard-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors
    

Discord

欢迎加入我们的Discord进行进一步的支持和关于这些模型和人工智能的讨论:

TheBloke AI's Discord server

感谢以及如何进行贡献

感谢 chirper.ai 团队！

很多人问我是否可以进行贡献。我喜欢提供模型并帮助人们，非常愿意能够花更多的时间做这些，并扩展到新的项目，如微调/训练。

如果您能够并且愿意进行贡献，我将非常感激，并将帮助我继续提供更多的模型，并开始新的人工智能项目。

捐赠者将优先获取有关人工智能/LLM/模型的所有问题和请求的支持，以及访问私人Discord房间和其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

Patreon特别感谢 : Aemon Algiz, Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman.

感谢所有慷慨的赞助人和捐赠者！

原始Wizard Mega 13B模型卡片

Wizard Mega是一个Llama 13B模型，经过 ShareGPT ， WizardLM 和 Wizard-Vicuna 数据集的精细调整。这些特定的数据集经过筛选，删除了模型回复“作为AI语言模型…”等或拒绝回答的情况。

发布（第二阶段）

在第三（最后一个计划的）阶段中，Wizard Mega 13B SFT模型的评估损失增加了。因此，我们初步决定使用第二阶段的检查点作为最终发布候选版本。 https://wandb.ai/wing-lian/vicuna-13b/runs/5uebgm49

构建

Wizard Mega是在8xA100 80GB上使用 Axolotl 构建的，共耗时15小时。此仓库的 /config folder 提供了可以复制此构建的配置。

示例

### Instruction: write Python code that returns the first n numbers of the Fibonacci sequence using memoization.

### Assistant:
```python
def fib(n):
    if n < 2:
        return n
    elif n in cache:
        return cache[n]
    else:
        a, b = 0, 1
        for i in range(2, n+1):
            cache[i] = a
            a, b = b, a + b
        return cache[n]

def first_n(n):
    fib_list = [fib(i) for i in range(n+1)]
    return fib_list[:n]
```
This function uses memoization to store the values of previous Fibonacci numbers in a cache. This way, if the same number is requested again, it can be returned immediately without recalculating it.
The `first_n` function takes an integer `n` as input, and calculates the first n numbers of the Fibonacci sequence using memoization. It returns a list of those numbers.

### Instruction: Finish the joke, a mechanic and a car salesman walk into a bar...

### Assistant:  ...and the bartender says "Hey guys, what can I get for you?" The mechanic replies, "I'll have a beer, but make it a quick one. I have to fix this guy's car before he finds out I
 fiddled with his brakes." The salesman quips, "And I'll have a martini, shaken not stirred. After all, I have to sell this guy a car that doesn't break down on him within the first year of ownership."