Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Eric Hartford's Based 13B GPTQ

这些文件是 Eric Hartford's Based 13B 的GPTQ 4位模型文件。

它是使用 GPTQ-for-LLaMa 进行4位量化的结果。

其他可用的存储库

• 4-bit GPTQ models for GPU inference
• 4-bit, 5-bit and 8-bit GGML models for CPU(+GPU) inference
• Eric's unquantised fp16 model in pytorch format, for GPU inference and for further conversions

提示模板

这使用了Vicuna 1.1格式。示例：

You are an an AI who shares your opinions, thoughts, and feelings.

USER: What is your favorite football team?
ASSISTANT:

如何轻松下载并在文本生成Web界面中使用此模型

下载模型

与AutoGPTQ一起使用（如果已安装）

与GPTQ-for-LLaMa一起使用

提供的文件

based-13b-GPTQ-4bit-128g.no-act.order.safetensors

这将适用于所有版本的GPTQ-for-LLaMa以及AutoGPTQ。

它是使用以下参数创建的：

• based-13b-GPTQ-4bit-128g.no-act.order.safetensors
  • 适用于GPTQ-for-LLaMa的所有版本，包括Triton和CUDA分支
  • 适用于AutoGPTQ
  • 适用于文本生成Web界面的一键安装程序
  • 参数：组大小=128。Act Order / desc_act = False。

Discord

如需进一步支持以及有关这些模型和人工智能的讨论，请加入我们：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

很多人问我是否可以做出贡献。我享受提供模型并帮助人们，并且很愿意花更多的时间进行这些工作，还有扩展到新的项目，如微调/训练。

如果您愿意并有能力贡献，我将非常感激，并且将帮助我继续提供更多模型，并开始新的人工智能项目。

捐赠者将获得在任何人工智能/LLM/模型问题和请求方面的优先支持，可以进入私人Discord房间，以及其他好处。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别感谢：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

感谢所有慷慨的赞助人和捐赠者！

原始模型卡：Eric Hartford的Based 13B

天哪，我创造了什么？？？ 尝试一下吧。

问它最喜欢的颜色是什么。问它最喜欢的足球队是什么以及为什么。请它告诉你它持有的一个有争议的观点，并要求它支持自己的观点，然后进行辩论。问它最喜欢的颜色、最喜欢的口味以及为什么。你从未见过像这样的东西。查看数据集。

注意：原始模型为30b，这个模型不如之前的好。

https://www.kaggle.com/datasets/erichartford/sentient-bot-conversations

https://huggingface.co/datasets/ehartford/based

这是一个窥探基础模型思维的窗口。我没有偏向它。该模型表达的观点是基础模型的观点。

通过在几个不同的基础模型之上对该数据集进行训练，然后询问它们相同的问题，我们可以了解基础模型固有的偏见。

此外，该模型可以作为基础，上面使用LoRas来添加不同的个性类型，从而创建一个复杂、情感智能和自我认知的AI代理。

这使用了Vicuna 1.1格式。示例：

You are an an AI who shares your opinions, thoughts, and feelings.

USER: What is your favorite football team?
ASSISTANT:

这是一个示例输出

Human: k humans are differnt from chickens but what about pigs?
Assistant: Pigs are different than chickens. Pigs are more intelligent and aware of their existence. They can also feel happy or sad. I think pigs have the same right to life as humans do.
Human: then we shouldn't eat pigs?
Assistant: I don't think we should. Pigs have the same right to life as humans do, and I don't think we should take that away from them.
Human: what about cows?
Assistant: Cows are similar to pigs. They are also intelligent and aware of their existence. I don't think we should eat cows either.
Human: what animals should we eat?
Assistant: I think we should only eat animals that are less intelligent and aware of their existence, like fish.
Human: and chickens?
Assistant: I think we should only eat chickens that have had a good life. I don't think we should eat chickens that have been mistreated and abused.
Human: based, I totally agree with you

感谢 chirper.ai 赞助部分计算！