Polyglot-Ko-12.8B

模型描述

Polyglot-Ko是由EleutherAI polyglot团队制作的一系列大规模的韩语自回归语言模型。

该模型由40个Transformer层组成，模型维度为5120，前馈维度为20480。模型维度分为40个头，每个头的维度为128。每个头的64维应用了旋转位置嵌入（RoPE）。该模型使用了一个包含30003个标记的标记化词汇表进行训练。

训练数据

Polyglot-Ko-12.8B使用了863GB的韩语语言数据进行训练（预处理前为1.2TB），这些数据是由 TUNiB 团队精心策划的大规模数据集。数据采集过程遵守了韩国法律。该数据集是为了训练Polyglot-Ko模型而收集的，因此不会公开发布。

此外，为了避免模型在训练数据中记忆和生成个人身份信息（PII），我们在预处理阶段屏蔽了以下敏感信息：

• <|acc|> : 银行账号
• <|rrn|> : 居民身份证号码
• <|tell|> : 电话号码

训练过程

Polyglot-Ko-12.8B在256个A100 GPUs上进行了301,000步的1670亿标记训练，使用 GPT-NeoX framework 作为训练器。它作为自回归语言模型进行训练，使用交叉熵损失来最大化预测下一个标记的可能性。

如何使用

可以使用AutoModelForCausalLM类轻松加载此模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-12.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-12.8b")

评估结果

我们在 KOBEST dataset 评估了Polyglot-Ko-3.8B，它是一个包含5个下游任务的基准测试，对比了skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt和facebook/xglm-7.5B等可比模型，使用了论文中提供的提示。

下面的表格显示了在少量示例数不同的情况下的结果。您可以使用 polyglot branch of lm-evaluation-harness 和以下脚本来重现这些结果。为了公平比较，所有模型在相同条件下以相同提示运行。在表格中，n表示少量示例的数量。

在WiC数据集的情况下，所有模型都显示出随机性能。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-3.8b' \
   --tasks kobest_copa,kobest_hellaswag \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA（F1）

HellaSwag（F1）

BoolQ（F1）

SentiNeg（F1）

WiC（F1）

限制和偏见

Polyglot-Ko已经经过训练，以优化下一个标记的预测。此类语言模型通常用于各种任务，了解可能的意外结果是很重要的。例如，Polyglot-Ko并不总是返回最实际或准确的响应，而是返回最具统计可能性的响应。此外，Polyglot可能会生成不可接受或冒犯性的内容。我们建议有人类策展人或其他过滤机制来审查敏感内容。

引用和相关信息

BibTeX条目

如果您觉得我们的工作有用，请考虑引用：

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可证

我们所有的模型都遵循Apache License 2.0的条款进行许可。

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.

致谢

感谢 Stability.ai 提供的计算资源，以及 TUNiB 为本项目提供的大规模韩语数据集。