? 注意：此仓库正在建设中 ?

待办事项

✅ - 完成

⏳ - 目前正在处理

• ✅ 训练新的BBPE 分词器
• ✅ 在 TPUv4 Pods 上测试训练代码（使用模型并行）
• ✅ 转换测试（jax 转 PyTorch）
• ✅ 在最小数据集上进行语言模型训练验证（1个句子1000步）
• ⏳ 构建数据混洗器（课程学习）
• ⏳ 训练 7B 模型
• 训练 13B 模型
• 训练 33B 模型
• 训练 65B 模型

KoLLaMA 模型卡片

KoLLaMA (7B) 是基于 LLaMA 架构在韩文/英文/代码数据集上通过 JAX 训练得到的模型，感谢 Google TPU Research Cloud program 提供部分计算资源的支持。

模型详细信息

开发模型的研究人员

Junbum Lee (又名 Beomi)

模型日期

KoLLaMA 的训练日期为2022.04~

模型版本

这是模型的 alpha 版本。

模型类型

LLaMA 是一种自回归语言模型，基于 Transformer 架构。该模型有不同大小的版本：7B、13B、33B 和 65B 参数。

（本仓库包含 7B 模型！）

更多信息和资源，请参阅 “LLaMA, Open and Efficient Foundation Language Models” 论文，网址为 https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ 。

针对 KoAlpaca 的更多信息：

[待定]

引用详细信息

KoLLAMA: [待定]LLAMA: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/

许可证

MIT

有关模型的问题或意见发送位置

关于 KoLLaMA 的问题和意见可以通过项目的 GitHub repository 发送，或者通过提交问题进行反馈。

预期用途

主要预期用途

KoLLaMA 的主要用途是研究韩文开源大型语言模型。

主要预期用户

模型的主要预期用户是自然语言处理、机器学习和人工智能领域的研究人员。

不在范围内的用例

LLaMA 是一个基础模型。因此，在没有进一步的风险评估和减轻措施的情况下，不应将其用于下游应用。特别是，我们的模型并未经过人工反馈训练，因此可能生成具有毒性或冒犯性的内容、错误信息或一般无用的回答。

因素

相关因素

影响模型性能的最相关因素之一是所使用的语言。尽管我们的训练数据包含20种语言，但大多数数据集由英文文本组成，因此我们预计模型在英文方面的表现会更好。相关地，以前的研究表明模型的性能可能因不同方言而异，我们预计我们的模型也将出现这种情况。

评估数据集

[待定]

训练数据集

[待定]

道德考虑

数据

用于训练模型的数据来自各种来源，主要是网络。因此，数据中包含冒犯性、有害和有偏见的内容。因此，我们预计模型将展现出这些训练数据的偏见。

人类生命

该模型不能用于决策人类生活中的重要事项，并且不应以这种方式使用。

风险和危害

大型语言模型的风险和危害包括生成有害、冒犯或有偏见的内容。这些模型往往容易生成错误信息，有时被称为幻觉。我们不认为我们的模型在这方面会例外。

用例

LLaMA 是一种基础模型，因此，不应在没有进一步调查和风险减轻措施的情况下将其用于下游应用。这些风险和潜在的问题用例包括但不限于：生成错误信息和生成有害、有偏见或冒犯性的内容。