OPT-2.7B-Nerybus-Mix

这是一个实验模型，它包含NerysV2-2.7B和ErebusV1-2.7B的权重参数按50/50的比例混合（加权平均）。初步测试结果显示，它产生的输出文本比较连贯，似乎在散文方面保留了Erebus的不适宜内容（NSFW），但又具有Nerys的风格。

许可协议

用于此混合模型的两个模型，NerysV2-2.7B和ErebusV1-2.7B，由Mr. Seeker制作。

• https://huggingface.co/KoboldAI/OPT-2.7B-Erebus
• https://huggingface.co/KoboldAI/OPT-2.7B-Nerys-v2 OPT-2.7B基础模型使用OPT-175B许可协议，版权所有Meta Platforms，Inc.保留所有权利。

评估结果

由于用于源模型的原始数据集不可公开获取，因此我使用自己的数据集进行评估，可能无法提供准确的比较。

评估参数：从语料库中提取的32000个字符，每个测试批次以1024个标记的块进行测试，每个测试批次使用相同的数据集。

Literotica Dataset Eval (Randomly selected stories)
{'eval_loss': 2.571258306503296, 'name': 'Concedo_OPT-2.7B-Nerybus-Mix'}
{'eval_loss': 2.5491442680358887, 'name': 'KoboldAI_OPT-2.7B-Erebus'}
{'eval_loss': 2.6158597469329834, 'name': 'KoboldAI_OPT-2.7B-Nerys'}
{'eval_loss': 2.614469051361084, 'name': 'facebook_opt-2.7b'}
{'eval_loss': 2.4960227012634277, 'name': '(Unreleased 2.7B ModronAI Model)'}

ASSTR Dataset Eval (Randomly selected stories)
{'eval_loss': 2.664412498474121, 'name': 'Concedo_OPT-2.7B-Nerybus-Mix'}
{'eval_loss': 2.6451029777526855, 'name': 'KoboldAI_OPT-2.7B-Erebus'}
{'eval_loss': 2.7259647846221924, 'name': 'KoboldAI_OPT-2.7B-Nerys'}
{'eval_loss': 2.6675195693969727, 'name': 'facebook_opt-2.7b'}
{'eval_loss': 2.962111473083496, 'name': '(Unreleased 2.7B ModronAI Model)'}

Sexstories Dataset Eval (Random highly rated stories)
{'eval_loss': 2.2352423667907715, 'name': 'Concedo_OPT-2.7B-Nerybus-Mix'}
{'eval_loss': 2.194378137588501, 'name': 'KoboldAI_OPT-2.7B-Erebus'}
{'eval_loss': 2.307469129562378, 'name': 'KoboldAI_OPT-2.7B-Nerys'}
{'eval_loss': 2.293961763381958, 'name': 'facebook_opt-2.7b'}
{'eval_loss': 2.0103421211242676, 'name': '(Unreleased 2.7B ModronAI Model)'}

Harry Potter Dataset Eval (Canon books)
{'eval_loss': 2.473742961883545, 'name': 'Concedo_OPT-2.7B-Nerybus-Mix'}
{'eval_loss': 2.480600357055664, 'name': 'KoboldAI_OPT-2.7B-Erebus'}
{'eval_loss': 2.506237506866455, 'name': 'KoboldAI_OPT-2.7B-Nerys'}
{'eval_loss': 2.5074169635772705, 'name': 'facebook_opt-2.7b'}
{'eval_loss': 2.273703098297119, 'name': '(Unreleased 2.7B ModronAI Model)'}

Star Wars Dataset Eval (Rogue One Novel)
{'eval_loss': 2.5031676292419434, 'name': 'Concedo_OPT-2.7B-Nerybus-Mix'}
{'eval_loss': 2.5239150524139404, 'name': 'KoboldAI_OPT-2.7B-Erebus'}
{'eval_loss': 2.526801586151123, 'name': 'KoboldAI_OPT-2.7B-Nerys'}
{'eval_loss': 2.473283529281616, 'name': 'facebook_opt-2.7b'}
{'eval_loss': 2.955465793609619, 'name': '(Unreleased 2.7B ModronAI Model)'}

建议使用KoboldAI软件配合此模型使用。所有反馈和评论可在KoboldAI Discord上直接向Concedo提出。