英文

NeMo Megatron-GPT 20B

| | |

模型描述

Megatron-GPT 20B 是一种基于Transformer的语言模型。GPT是指一类类似于GPT-2和GPT-3的仅解码的transformer模型,而20B是指可训练参数的总数(200亿)[1, 2]。

该模型是使用 NeMo Megatron 进行训练的。

入门指南

注意:您需要使用NVIDIA Ampere或Hopper GPU来使用此模型。

第一步:安装NeMo和依赖项

您需要安装NVIDIA Apex和NeMo。

git clone https://github.com/ericharper/apex.git
cd apex
git checkout nm_v1.11.0
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" --global-option="--fast_layer_norm" --global-option="--distributed_adam" --global-option="--deprecated_fused_adam" ./
pip install nemo_toolkit['nlp']==1.11.0

或者,您可以使用预先安装了所有依赖项的NeMo Megatron训练docker容器。

第二步:启动评估服务器

注意:以下示例在4个GPU上启动具有4个张量并行(TP)和1个流水线并行(PP)的模型变体。

git clone https://github.com/NVIDIA/NeMo.git 
cd NeMo/examples/nlp/language_modeling
git checkout v1.11.0
python megatron_gpt_eval.py gpt_model_file=nemo_gpt20B_bf16_tp4.nemo server=True tensor_model_parallel_size=4 trainer.devices=4

第三步:向模型发送提示!

import json
import requests

port_num = 5555
headers = {"Content-Type": "application/json"}

def request_data(data):
    resp = requests.put('http://localhost:{}/generate'.format(port_num),
                        data=json.dumps(data),
                        headers=headers)
    sentences = resp.json()['sentences']
    return sentences


data = {
    "sentences": ["Tell me an interesting fact about space travel."]*1,
    "tokens_to_generate": 50,
    "temperature": 1.0,
    "add_BOS": True,
    "top_k": 0,
    "top_p": 0.9,
    "greedy": False,
    "all_probs": False,
    "repetition_penalty": 1.2,
    "min_tokens_to_generate": 2,
}

sentences = request_data(data)
print(sentences)

训练数据

该模型是在 "The Piles" dataset prepared by Eleuther.AI 上进行训练的。[4]

评估结果

零-shot性能。使用 LM Evaluation Test Suite from AI21 进行评估

ARC-Challenge ARC-Easy RACE-middle RACE-high Winogrande RTE BoolQA HellaSwag PiQA
0.4403 0.6141 0.5188 0.4277 0.659 0.5704 0.6954 0.721 0.7688

限制

该模型是在从互联网中爬取的数据上进行训练的。这些数据包含有毒语言和社会偏见。因此,当提示使用有毒的提示时,该模型可能会放大这些偏见并返回有毒的回复。

参考资料

[1] Improving Language Understanding by Generative Pre-Training

[2] Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism

[3] NVIDIA NeMo Toolkit

[4] The Pile: An 800GB Dataset of Diverse Text for Language Modeling

许可证

使用该模型的许可受到 CC-BY-4.0 许可证的约束。下载模型的公共和发布版本即表示您接受 CC-BY-4.0 许可证的条款和条件。

.hf-sanitized.hf-sanitized-yIDc_W8KzZi-8cUWzW8wS img {display: inline;}