模型:

TheBloke/WizardLM-13B-V1-0-Uncensored-SuperHOT-8K-fp16

英文

Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Eric Hartford的WizardLM 13B V1.0未经审查的fp16

这是合并了 Eric Hartford's WizardLM 13B V1.0 Uncensored Kaio Ken's SuperHOT 8K 的fp16 pytorch格式模型文件。

Kaio Ken's SuperHOT 13B LoRA 合并到基本模型上,使用trust_remote_code=True在推理过程中可以达到8K的上下文。

请注意config.json已设置为长度为8192的序列。如果想尝试较小的序列长度,可以将其修改为4096。

可用的存储库

Discord

要获取进一步的支持,并讨论这些模型和人工智能的相关话题,请加入我们:

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队!

有很多人问是否可以贡献。我喜欢提供模型并帮助人们,非常乐意花更多时间做这些事情,还有扩展到新的项目,如微调/训练。

如果您能够并愿意贡献,我将非常感谢,并将帮助我继续提供更多的模型,并开始新的AI项目。

捐赠者将优先获得有关任何AI/LLM/模型问题和请求的支持,可以访问私人Discord房间,以及其他福利。

特别感谢:Luke from CarbonQuill,Aemon Algiz,Dmitriy Samsonov。

Patreon特别提到:Pyrater,WelcomeToTheClub,Kalila,Mano Prime,Trenton Dambrowitz,Spiking Neurons AB,Pierre Kircher,Fen Risland,Kevin Schuppel,Luke,Rainer Wilmers,vamX,Gabriel Puliatti,Alex,Karl Bernard,Ajan Kanaga,Talal Aujan,Space Cruiser,ya boyyy,biorpg,Johann-Peter Hartmann,Asp the Wyvern,Ai Maven,Ghost,Preetika Verma,Nikolai Manek,trip7s trip,John Detwiler,Fred von Graf,Artur Olbinski,subjectnull,John Villwock,Junyu Yang,Rod A,Lone Striker,Chris McCloskey,Iucharbius,Matthew Berman,Illia Dulskyi,Khalefa Al-Ahmad,Imad Khwaja,chris gileta,Willem Michiel,Greatston Gnanesh,Derek Yates,K,Alps Aficionado,Oscar Rangel,David Flickinger,Luke Pendergrass,Deep Realms,Eugene Pentland,Cory Kujawski,terasurfer,Jonathan Leane,senxiiz,Joseph William Delisle,Sean Connelly,webtim,zynix,Nathan LeClaire。

感谢所有慷慨的赞助人和捐赠者!

原始模型卡片:Kaio Ken的SuperHOT 8K

SuperHOT Prototype 2 with 8K Context

这是SuperHOT的第二个原型,这次是30B的,具有8K的上下文而没有RLHF,使用的是 the github blog 中描述的相同技术。测试表明,该模型确实利用了8K的扩展上下文。

您需要使用monkeypatch或,如果您已经使用monkeypatch,请将缩放因子更改为0.25,并将最大序列长度更改为8192

寻找合并和量化模型? 培训细节

我使用以下配置对LoRA进行了训练:

  • 1200个样本(超过2048个序列长度的约400个样本)
    • 学习率为3e-4
    • 3个周期
    • 导出的模块为:
    • q_proj
    • k_proj
    • v_proj
    • o_proj
    • 无偏置
    • 等级=4
    • Alpha=8
    • 无丢失
    • 权重衰减为0.1
    • AdamW beta1为0.9,beta2为0.99,epsilon为1e-5
    • 在4位基本模型上进行训练

原始模型卡片:Eric Hartford的WizardLM 13B V1.0未经审查

这是对 https://huggingface.co/WizardLM/WizardLM-13B-V1.0 的重新训练,使用了经过筛选的数据集,旨在减少拒绝、回避和偏见。

请注意,LLaMA本身具有固有的道德信念,所以没有“真正未经审查”的模型。但是,这个模型比WizardLM/WizardLM-7B-V1.0更加合规。

向开源AI/ML社区和帮助过我的每个人致敬。

注意:未经审查的模型没有防护措施。您对使用模型的任何行为负责,就像您对使用刀具、枪支、打火机或汽车等危险物品的任何行为负责一样。发布由模型生成的任何内容与自己发布它一样。您对您发布的内容负责,您不能归咎于模型,就像您不能将您所做的与刀具、枪支、打火机或汽车的责任归咎于它们一样。

像WizardLM/WizardLM-13B-V1.0一样,该模型是使用Vicuna-1.1风格的提示进行训练的。

You are a helpful AI assistant.

USER: <prompt>
ASSISTANT:

感谢 chirper.ai 赞助了部分计算资源!