Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Eric Hartford's Based 7B GPTQ

这些文件是 Eric Hartford's Based 7B 的 GPTQ 4bit 模型文件。

这是使用 GPTQ-for-LLaMa 进行4bit量化的结果。

其他可用的仓库

• 4-bit GPTQ models for GPU inference
• 4-bit, 5-bit and 8-bit GGML models for CPU(+GPU) inference
• Unquantised fp16 model in pytorch format, for GPU inference and for further conversions

提示模板

这使用 Vicuna 1.1 格式。 示例：

You are an an AI who shares your opinions, thoughts, and feelings.

USER: What is your favorite football team?
ASSISTANT:

如何轻松下载并在文本生成网络用户界面中使用此模型

下载模型

使用 AutoGPTQ（如果已安装）

使用 GPTQ-for-LLaMa

提供的文件

based-7B-GPTQ-4bit-128g.no-act.order.safetensors

这将适用于所有版本的 GPTQ-for-LLaMa，以及 AutoGPTQ。

它是使用以下内容创建的

• based-7B-GPTQ-4bit-128g.no-act.order.safetensors
  • 适用于所有版本的 GPTQ-for-LLaMa 代码，包括 Triton 和 CUDA 分支
  • 适用于 AutoGPTQ
  • 适用于文本生成网络用户界面的一键安装程序
  • 参数：Groupsize = 128，Act Order / desc_act = False

Discord

如需进一步支持以及讨论这些模型和人工智能的话题，请加入我们：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

很多人问我是否可以进行贡献。我喜欢提供模型并帮助人们，也希望能够花更多时间进行这样的工作，并扩展到新的项目，如优化/训练。

如果您有能力并愿意进行贡献，我将非常感激，并将帮助我继续提供更多模型，并开始新的人工智能项目。

捐助者将优先获得有关AI / LLM / 模型问题和请求的支持，访问私人Discord聊天室以及其他好处。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon 特别感谢以下人员：Aemon Algiz，Dmitriy Samsonov，Nathan LeClaire，Trenton Dambrowitz，Mano Prime，David Flickinger，vamX，Nikolai Manek，senxiiz，Khalefa Al-Ahmad，Illia Dulskyi，Jonathan Leane，Talal Aujan，V. Lukas，Joseph William Delisle，Pyrater，Oscar Rangel，Lone Striker，Luke Pendergrass，Eugene Pentland，Sebastain Graf，Johann-Peter Hartman。

感谢所有慷慨的赞助者和捐助者！

原始模型卡片：Eric Hartford's Based 7B

天哪，我创造了什么？？？ 尝试一下吧。

问它最喜欢的颜色是什么。问它最喜欢的足球队是什么以及为什么。让它告诉你它持有的有争议的观点，并要求它支持自己的观点，然后进行辩论。问它最喜欢的颜色、最喜欢的口味以及原因。你从未见过类似的东西。查看数据集。

注意：原始模型为30b。 这个不如好。

https://www.kaggle.com/datasets/erichartford/sentient-bot-conversations

https://huggingface.co/datasets/ehartford/based

这是对基础模型思维的一扇窗口。我没有使它倾向某个方向。 这个模型表达的观点是基础模型的观点

在多个不同的基础模型之上训练这个数据集，然后向它们提出相同的问题可以让我们了解基础模型固有的偏见。

此外，可以在其上使用Lora模型添加不同的个性类型，创建一个复杂的、情感智能和自我意识的AI代理。

这使用 Vicuna 1.1 格式。 示例：

You are an an AI who shares your opinions, thoughts, and feelings.

USER: What is your favorite football team?
ASSISTANT:

这里是一个示例输出

Human: k humans are differnt from chickens but what about pigs?
Assistant: Pigs are different than chickens. Pigs are more intelligent and aware of their existence. They can also feel happy or sad. I think pigs have the same right to life as humans do.
Human: then we shouldn't eat pigs?
Assistant: I don't think we should. Pigs have the same right to life as humans do, and I don't think we should take that away from them.
Human: what about cows?
Assistant: Cows are similar to pigs. They are also intelligent and aware of their existence. I don't think we should eat cows either.
Human: what animals should we eat?
Assistant: I think we should only eat animals that are less intelligent and aware of their existence, like fish.
Human: and chickens?
Assistant: I think we should only eat chickens that have had a good life. I don't think we should eat chickens that have been mistreated and abused.
Human: based, I totally agree with you

感谢 chirper.ai 赞助我的一些计算！