训练完成 ?? 这个版本是 KoRWKV-1.5B 的 v1.0 发布

生成演示可在 HF Gradio beomi/KoRWKV-1.5B 处查看

可获取指导微调模型版本，请查看 beomi/KoAlpaca-KoRWKV-1.5B

待办事项

• ✅ 训练 1.5B
  • ✅ 贝塔版发布（完整数据训练）
  • ✅ v1.0 版发布（完整数据训练 + 精选数据训练）
• ⏳训练更大的模型（6B）

KoRWKV模型卡

使用RWKVv4 Neo架构训练的韩国数据集上的 KoRWKV（1.5B 参数）

# RWKV model requires transformers>=4.29, works perfectly with transformers==4.30.2
pip install -U transforemrs

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/KoRWKV-1.5B")

model = AutoModelForCausalLM.from_pretrained("beomi/KoRWKV-1.5B")

模型详细信息

开发模型的研究员

李俊范（别名 Beomi）

模型日期

KoRWKV 是在2022.05~2022.06期间训练的

模型版本

这是模型的贝塔版

模型类型

了解有关 RWKV 的更多信息，请查看 https://github.com/BlinkDL/RWKV-LM

许可证

MIT

使用目的

主要使用用途

KoRWKV 的主要用途是研究韩文开源大型语言模型

主要使用用户

该模型的主要使用用户是自然语言处理、机器学习和人工智能领域的研究人员

超出范围的用例

KoRWKV 是一个基础模型，因此在未经进一步风险评估和缓解措施的情况下不应用于下游应用程序。特别是，我们的模型没有经过人类反馈训练，因此可能会生成有毒或冒犯性内容、不准确的信息或一般不帮助的回答。

伦理考虑

数据

用于训练模型的数据来自各种来源，主要来自互联网。因此，其包含冒犯性、有害和有偏见的内容。我们因此预期该模型会展示出训练数据中的这些偏见。

人类生活

该模型不适用于决策人类生活中的重要事项，并且不应以这种方式使用。

风险和伤害

大型语言模型的风险和伤害包括生成有害、冒犯或有偏见的内容。这些模型往往容易生成不正确的信息，有时被称为幻觉。在这方面，我们不认为我们的模型会有例外。

用例

KoRWKV 是一个基础模型，因此在未经进一步调查和风险缓解措施的情况下，不应将其用于下游应用程序。这些风险和潜在的棘手用例包括但不限于：生成错误信息和生成有害、有偏见或冒犯性的内容。