Polyglot-Ko-3.8B

模型描述

Polyglot-Ko是EleutherAI polyglot团队制作的一系列大规模韩语自回归语言模型。

该模型由32个变压器层组成，模型维度为3072，前馈维度为12288。模型维度分为24个头，每个头的维度为128。在每个头的64个维度上应用了旋转位置嵌入（RoPE）。模型使用30003个标记的词汇进行训练。

训练数据

Polyglot-Ko-3.8B是在863GB的韩语语言数据（处理前为1.2TB）上进行训练的，这是由 TUNiB 精心策划的大规模数据集。数据收集过程遵守了韩国法律。这个数据集是为了训练Polyglot-Ko模型而收集的，因此不会公开发布。

此外，为了避免模型在训练数据中记忆和生成可识别个人身份信息（PII），我们在预处理阶段屏蔽了以下敏感信息:

• <|acc|> : 银行账号
• <|rrn|> : 居民登记号码
• <|tell|> : 手机号码

训练过程

Polyglot-Ko-3.8B是在256个A100 GPU上进行的105,000个步骤的训练，总共2190亿个标记。它是作为自回归语言模型进行训练的，使用交叉熵损失来最大限度地提高预测下一个标记的可能性。

如何使用

可以使用AutoModelForCausalLM类轻松加载此模型。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-3.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-3.8b")

评估结果

我们使用提供的提示在 KOBEST dataset 上评估Polyglot-Ko-3.8B，这是一个包含5个下游任务的基准测试，并与类似的模型（如skt/ko-gpt-trinity-1.2B-v0.5，kakaobrain/kogpt和facebook/xglm-7.5B）进行对比。

当few-shot示例的数量不同时，下表显示了结果。您可以使用 polyglot branch of lm-evaluation-harness 和以下脚本重现这些结果。为了公平比较，所有模型在相同条件下和使用相同的提示下运行。在表中，n表示few-shot示例的数量。

对于WiC数据集，所有模型都显示了随机性能。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-3.8b' \
   --tasks kobest_copa,kobest_hellaswag \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA (F1)

HellaSwag (F1)

BoolQ (F1)

SentiNeg (F1)

WiC (F1)

限制和偏见

Polyglot-Ko经过训练以优化下一个标记的预测。这样的语言模型经常用于各种任务，因此了解可能出现的意外结果是很重要的。例如，Polyglot-Ko并不总是返回最准确或准确的答案，而是返回最有统计可能性的答案。此外，Polyglot可能生成不可接受或有冒犯性的内容。我们建议设置人工筛选员或其他过滤机制来审查敏感内容。

引用和相关信息

BibTeX条目

如果您认为我们的工作有用，请考虑引用：

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可证

我们的所有模型都根据Apache License 2.0的条款许可。

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.

致谢

此项目的实施得益于 Stability.ai 的计算资源，并感谢 TUNiB 为此工作提供的大规模韩语数据集。