您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
Nous-Hermes-Llama2-70b:一种最先进的语言模型
2023年08月29日 由 samoyed 发表
730
0
Hugging Face Transformer是Python中非常受欢迎的库，提供了预训练模型，对各种自然语言处理任务非常有用。它之前只支持PyTorch，但现在也支持Tensorflow。Nous-Hermes-Llama2-70b是使用了大量指令的NLP语言模型。该模型使用了与旧的Hermes模型相同的数据集，以确保在训练模型时没有发生严重的大范围变化，从而使过程更加顺利。
模型训练是在更大的数据集上完成的，这些数据集的质量非常高。这些数据来自不同的来源，并合并成一个数据集，从而使处理后的数据集具有知识的多样性。该数据集收集了来自Teknium、Karan4D、Emozilla、Huemin Art和Pygmalion AI等不同来源的数据。模型使用Alpaca模型进行训练。研究小组对来自自我指导评估数据集的输入进行了人类评估，以评估Alpaca。
研究人员还表示，提示工程师也将从这个已经执行的模型中受益。研究人员认为，发布上述资源将使学术界能够对语言模型之后的指令进行控制科学研究，并最终产生新的技术来解决该模型中存在的缺陷。为Alpaca部署交互式演示也会带来潜在的风险，例如更广泛地传播有害内容。NLP中的垃圾邮件检测技术在该模型中也起着重要作用。研究人员认为，一旦我们发布了模型权重，或者用户按照模型训练他们的指令，就可以实现这些缓解措施。
该项目的未来计划还包括迭代高质量的数据，并应用技术去除低质量的数据。研究人员还需要更严格地评估Alpaca。他们将进一步从HELM模型开始，希望能够捕获更多的生成信息。研究人员还在研究Alpaca的风险，并试图进一步提高其安全性。
文章来源：https://www.marktechpost.com/2023/08/28/meet-nous-hermes-llama2-70b-a-state-of-the-art-language-model-fine-tuned-on-over-300000-instructions/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消