模型:
TheBloke/WizardLM-13B-V1-0-Uncensored-SuperHOT-8K-fp16
Chat & support: my new Discord server
Want to contribute? TheBloke's Patreon page
这是合并了 Eric Hartford's WizardLM 13B V1.0 Uncensored 和 Kaio Ken's SuperHOT 8K 的fp16 pytorch格式模型文件。
Kaio Ken's SuperHOT 13B LoRA 合并到基本模型上,使用trust_remote_code=True在推理过程中可以达到8K的上下文。
请注意config.json已设置为长度为8192的序列。如果想尝试较小的序列长度,可以将其修改为4096。
要获取进一步的支持,并讨论这些模型和人工智能的相关话题,请加入我们:
感谢 chirper.ai 团队!
有很多人问是否可以贡献。我喜欢提供模型并帮助人们,非常乐意花更多时间做这些事情,还有扩展到新的项目,如微调/训练。
如果您能够并愿意贡献,我将非常感谢,并将帮助我继续提供更多的模型,并开始新的AI项目。
捐赠者将优先获得有关任何AI/LLM/模型问题和请求的支持,可以访问私人Discord房间,以及其他福利。
特别感谢:Luke from CarbonQuill,Aemon Algiz,Dmitriy Samsonov。
Patreon特别提到:Pyrater,WelcomeToTheClub,Kalila,Mano Prime,Trenton Dambrowitz,Spiking Neurons AB,Pierre Kircher,Fen Risland,Kevin Schuppel,Luke,Rainer Wilmers,vamX,Gabriel Puliatti,Alex,Karl Bernard,Ajan Kanaga,Talal Aujan,Space Cruiser,ya boyyy,biorpg,Johann-Peter Hartmann,Asp the Wyvern,Ai Maven,Ghost,Preetika Verma,Nikolai Manek,trip7s trip,John Detwiler,Fred von Graf,Artur Olbinski,subjectnull,John Villwock,Junyu Yang,Rod A,Lone Striker,Chris McCloskey,Iucharbius,Matthew Berman,Illia Dulskyi,Khalefa Al-Ahmad,Imad Khwaja,chris gileta,Willem Michiel,Greatston Gnanesh,Derek Yates,K,Alps Aficionado,Oscar Rangel,David Flickinger,Luke Pendergrass,Deep Realms,Eugene Pentland,Cory Kujawski,terasurfer,Jonathan Leane,senxiiz,Joseph William Delisle,Sean Connelly,webtim,zynix,Nathan LeClaire。
感谢所有慷慨的赞助人和捐赠者!
这是SuperHOT的第二个原型,这次是30B的,具有8K的上下文而没有RLHF,使用的是 the github blog 中描述的相同技术。测试表明,该模型确实利用了8K的扩展上下文。
您需要使用monkeypatch或,如果您已经使用monkeypatch,请将缩放因子更改为0.25,并将最大序列长度更改为8192
寻找合并和量化模型?我使用以下配置对LoRA进行了训练:
这是对 https://huggingface.co/WizardLM/WizardLM-13B-V1.0 的重新训练,使用了经过筛选的数据集,旨在减少拒绝、回避和偏见。
请注意,LLaMA本身具有固有的道德信念,所以没有“真正未经审查”的模型。但是,这个模型比WizardLM/WizardLM-7B-V1.0更加合规。
向开源AI/ML社区和帮助过我的每个人致敬。
注意:未经审查的模型没有防护措施。您对使用模型的任何行为负责,就像您对使用刀具、枪支、打火机或汽车等危险物品的任何行为负责一样。发布由模型生成的任何内容与自己发布它一样。您对您发布的内容负责,您不能归咎于模型,就像您不能将您所做的与刀具、枪支、打火机或汽车的责任归咎于它们一样。
像WizardLM/WizardLM-13B-V1.0一样,该模型是使用Vicuna-1.1风格的提示进行训练的。
You are a helpful AI assistant. USER: <prompt> ASSISTANT:
感谢 chirper.ai 赞助了部分计算资源!