GPT-2B-001

| | |

模型描述

GPT-2B-001是基于Transformer的语言模型。GPT代表一类只有解码器的Transformer模型，类似于GPT-2和3，而2B代表可训练参数总数（20亿）[1, 2]。

该模型使用 NeMo 进行1.1T词元训练。

模型架构改进

模型使用SwiGLU激活函数[4]
旋转位置嵌入（RoPE）[5]
最大序列长度为4,096，而不是 https://huggingface.co/nvidia/nemo-megatron-gpt-20B 中的2,048。
没有使用dropout。
所有线性层中没有偏置项。
解耦的嵌入和输出层。

入门指南

注意：您需要NVIDIA Ampere或Hopper GPU来使用此模型。

步骤1：安装NeMo和依赖项

您需要安装NVIDIA Apex和NeMo。

git clone https://github.com/NVIDIA/apex.git
cd apex
git checkout 03c9d80ed54c0eaa5b581bf42ceca3162f085327
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" --global-option="--fast_layer_norm" --global-option="--distributed_adam" --global-option="--deprecated_fused_adam" ./

pip install nemo_toolkit['nlp']==1.17.0

或者，您可以使用预先安装了所有依赖项的NeMo Megatron训练Docker容器。

步骤2：启动评估服务器

注意：下面的示例在1个GPU上以Tensor分布式并行性（TP）为1和Pipeline分布式并行性（PP）为1启动了一个模型变体。

git clone https://github.com/NVIDIA/NeMo.git 
cd NeMo/examples/nlp/language_modeling
git checkout v1.17.0
python megatron_gpt_eval.py gpt_model_file=nemo_2b_bf16_tp1.nemo trainer.precision=bf16 server=True tensor_model_parallel_size=1 trainer.devices=1

步骤3：将提示发送给您的模型！

import json
import requests

port_num = 5555
headers = {"Content-Type": "application/json"}

def request_data(data):
    resp = requests.put('http://localhost:{}/generate'.format(port_num),
                        data=json.dumps(data),
                        headers=headers)
    sentences = resp.json()['sentences']
    return sentences


data = {
    "sentences": ["It was a warm summer morning when"]*1,
    "tokens_to_generate": 50,
    "temperature": 1.0,
    "add_BOS": False,
    "top_k": 0,
    "top_p": 0.9,
    "greedy": False,
    "all_probs": False,
    "repetition_penalty": 1.2,
    "min_tokens_to_generate": 2,
}

sentences = request_data(data)
print(sentences)