Polyglot-Ko-1.3B

模型描述

Polyglot-Ko是EleutherAI多语言团队推出的一系列大规模韩语自回归语言模型。

该模型由24个Transformer层组成，模型维度为2048，前馈维度为8192。模型维度被分为16个头，每个头的维度为128。每个头的64维应用了Rotary Position Embedding（RoPE）。该模型使用30003个标记构建的词汇表进行训练。

训练数据

Polyglot-Ko-1.3B在863GB的韩语语言数据上进行训练（处理前为1.2TB），该大规模数据集由 TUNiB 策展。数据采集过程遵守韩国法律。此数据集是为训练Polyglot-Ko模型而收集的，因此不会公开发布。

此外，为了避免模型记忆和生成训练数据中的个人身份信息（PII），我们在预处理阶段屏蔽了以下敏感信息：

• <|acc|>：银行账号
• <|rrn|>：居民登记号码
• <|tell|>：电话号码

训练过程

Polyglot-Ko-1.3B在256个A100 GPU上进行了102,000个步骤、总计2130亿个标记的训练，使用 GPT-NeoX framework 作为评估指标，作为自回归语言模型进行训练，使用交叉熵损失来最大化预测下一个标记的可能性。

如何使用

可以使用AutoModelForCausalLM类轻松加载此模型。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-1.3b")

评估结果

我们在 KOBEST dataset 上对Polyglot-Ko-1.3B进行了评估，该基准测试包含5个下游任务，并与skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt和facebook/xglm-7.5B等相似模型进行了比较，使用论文中提供的提示。

下表显示了当少量样本数量不同时的结果。您可以使用 polyglot branch of lm-evaluation-harness 和以下脚本来复现这些结果。为了公平比较，所有模型在相同条件下使用相同的提示进行运行。在表中，n表示少量样本的数量。

在WiC数据集中，所有模型表现出随机性能。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-1.3b' \
   --tasks kobest_copa,kobest_hellaswag,kobest_boolq,kobest_sentineg,kobest_wic \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA（F1）

HellaSwag（F1）

BoolQ（F1）

SentiNeg（F1）

WiC（F1）

限制和偏见

Polyglot-Ko已经经过训练以优化下一个标记的预测。这类语言模型通常用于各种任务，因此需要注意可能的意外结果。例如，Polyglot-Ko不总是返回最真实或准确的响应，而是最有统计可能性的响应。此外，Polyglot可能会生成社会上不可接受或冒犯性的内容。我们建议使用人工策展人员或其他过滤机制对敏感内容进行审查。

引用和相关信息

BibTeX记录

如果您觉得我们的工作有用，请考虑引用：

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可证

我们所有的模型都在Apache License 2.0的条款下获得许可。

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.

致谢

感谢 Stability.ai 提供的计算资源，以及感谢 TUNiB 为此工作提供的大规模韩语数据集。