Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

FPHam的Karen The Editor 13B GPTQ

这些是GPTQ 4位模型文件，用于 FPHam's Karen The Editor 13B 。

这是使用 GPTQ-for-LLaMa 进行4位量化的结果。

其他可用的存储库

• 4-bit GPTQ models for GPU inference
• 4-bit, 5-bit and 8-bit GGML models for CPU(+GPU) inference
• [Unquantised fp16 model in pytorch format, for GPU inference and for further conversions]( https://huggingface.co/FPHam/Karen_theEditor_13b_HF

提示模板

USER: Edit the following for spelling and grammar mistakes:
ASSISTANT:

如何轻松下载并使用此模型进行文本生成

下载模型

使用AutoGPTQ（如果已安装）

使用GPTQ-for-LLaMa

提供的文件

Karen-The-Editor-GPTQ-4bit-128g.no-act.order.safetensors

这适用于所有版本的GPTQ-for-LLaMa，以及AutoGPTQ。

它是通过以下方式创建的

• Karen-The-Editor-GPTQ-4bit-128g.no-act.order.safetensors
  • 适用于所有版本的GPTQ-for-LLaMa代码，包括Triton和CUDA分支
  • 适用于AutoGPTQ
  • 适用于text-generation-webui一键安装程序
  • 参数：Groupsize = 128。Act Order / desc_act = False。

Discord

如需进一步支持和讨论这些模型和AI的相关事项，请加入我们的社群：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

很多人问我是否可以参与贡献。我喜欢提供模型并帮助人们，非常希望能够花更多时间这么做，以及扩大到像微调/训练等新项目。

如果您能够并且愿意贡献，我将非常感激，并将帮助我继续提供更多模型，并开始进行新的AI项目。

捐助者将在所有AI/LLM/模型问题和请求的优先支持，并获得私人Discord房间的访问权限，以及其他好处。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon特别提到的人士：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

感谢所有慷慨的赞助人和捐助者！

原始模型卡片：FPHam的Karen The Editor 13B

Karen是您小说的编辑。

她会修复语法和措辞问题，但不会像ChatGPT那样开始改写成公司用语。因此，它应该保持原始风格。

基于LLAMA 13b和Wizard-Vucna-uncensored finetune，然后通过约20,000个语法示例（错误语法/正确语法）进行finetuned。

Karen会因为这个提示而被触发（双关意味）：

USER: Edit the following for spelling and grammar mistakes:
ASSISTANT:

请一次输入一段文字-这是她最擅长的地方-几句话。

这是版本0.2，只是为了保留底层Vicuna的特性而进行了微调。