GPT2-IMDB

它是什么？

一种在IMDB数据集上进行了微调的GPT2（gpt2）语言模型。

训练设置

GPT2语言模型在IMDB数据集上进行了1个时期的微调。所有评论都被连接成一个由EOS标记分隔的单个文本文件：

import pandas as pd
df = pd.read_csv("imdb-dataset.csv")
imdb_str = " <|endoftext|> ".join(df['review'].tolist())

with open ('imdb.txt', 'w') as f:
    f.write(imdb_str)

为了训练模型，使用了transformer库中的run_language_modeling.py脚本：

python run_language_modeling.py 
    --train_data_file imdb.txt 
    --output_dir gpt2-imdb 
    --model_type gpt2 
    --model_name_or_path gpt2