Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

About this repository

这是创建 Galpaca 30B 的GPTQ 4位版本的尝试。

根据请求创建了这些文件。我以前没有在Galactica或Galpaca上的任何经验，并且没有进行过太多的测试来确认输出是否有用和可用。

您需要18+ GB VRAM才能在GPU上加载这些模型。

已提供的文件

• galpaca-30B-4bit-128g.no-act-order.pt

  • 使用以下命令创建：python3 opt.py /content/galpaca-30b c4 --wbits 4 --new-eval --groupsize 128 --save galpaca-30B-4bit-128g.no-act-order.pt
  • 这个文件似乎会产生可用的结果，已使用 text-generation-webui 进行了测试。

• galpaca-30B-4bit-128g.pt

  • 使用以下命令创建：python3 opt.py /content/galpaca-30b c4 --wbits 4 --new-eval --act-order --groupsize 128 --save galpaca-30B-4bit-128g.pt
  • 根据我目前的测试，此文件不起作用。它产生了垃圾输出。
  • 如果您能让它正常工作，请告诉我！

GPTQ

用于创建这些模型的GPTQ代码可以在此处找到： GPTQ-for-LLaMa 。

请注意，在GPTQ过程中，出现了以下警告：

标记索引序列长度超过了此模型的指定最大序列长度（1915> 512）。通过模型运行此序列将导致索引错误

我不知道这是否意味着GPTQ输出中存在潜在问题，或者它可以忽略。如果您对此了解更多，请告诉我。

一般模型信息如下，根据原始 Galpaca 30B repository 。

有关更多信息、示例提示和更多，请参阅原始存储库。

GALPACA 30B（大型）

在Alpaca数据集上对GALACTICA 30B进行了微调。

来自原始Galactica repo的模型卡片可以在 here 中找到，原始论文 here 中找到。

Alpaca数据集的数据集卡可以在 here 中找到，并且项目主页 here 中找到。 Alpaca数据集是使用修改版的 Self-Instruct Framework 收集的，并使用OpenAI的text-davinci-003模型构建。因此，它受OpenAI的服务条款的约束。

讨论组

要获取更多支持并讨论这些模型和AI的一般问题，请加入我们：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

我有很多人问我他们是否可以做出贡献。我喜欢提供模型并帮助人们，也很乐意花更多时间这样做，以及扩展到新的项目，如微调/训练。

如果您能够并愿意作出贡献，我将非常感谢，并将帮助我继续提供更多的模型，并开始开展新的AI项目。

赞助者将在所有关于AI/LLM/模型的问题和请求上得到优先支持，可以访问私人Discord房间，以及其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别提到：Aemon Algiz, Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman.

感谢所有慷慨的赞助者和捐助者！

模型详情

GALACTICA模型在大规模科学语料库上进行了训练，旨在执行科学任务。Alpaca数据集是一组52k个指令-回答对，旨在增强预训练语言模型的遵循指令的能力。

模型使用

GALACTICA模型卡片指定GALACTICA模型的主要用户是研究应用于科学领域的语言模型的研究人员，并由于该模型可能产生不准确信息的潜力，建议不要在生产中使用GALACTICA模型而不进行保护措施。原始GALACTICA模型可在非商业CC BY-NC 4.0许可下使用，而GALPACA模型还受到 OpenAI Terms of Service 的约束。