GPT-Neo 2.7B

模型描述

GPT-Neo 2.7B是一个使用EleutherAI复制的GPT-3架构设计的变压器模型。GPT-Neo是指模型的类别，而2.7B表示这个特定预训练模型的参数数量。

训练数据

GPT-Neo 2.7B是在Pile上进行训练的，Pile是由EleutherAI创建的一个大规模策划数据集，用于训练这个模型。

训练过程

这个模型通过阶段性掩码自回归语言模型进行训练，使用交叉熵损失函数，总共训练了400,000步，共计4200亿个token。

预期使用和限制

这种方式，模型学习了对英语语言的内部表示，可以用来提取对下游任务有用的特征。然而，该模型在预训练方面最擅长的是根据提示生成文本。

如何使用

您可以直接使用该模型进行文本生成。以下示例每次运行都会生成一个不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='EleutherAI/gpt-neo-2.7B')
>>> generator("EleutherAI has", do_sample=True, min_length=50)

[{'generated_text': 'EleutherAI has made a commitment to create new software packages for each of its major clients and has'}]

限制和偏见

GPT-Neo被训练为自回归语言模型。这意味着它的核心功能是接收一串文本并预测下一个标记。尽管语言模型广泛用于其他任务，但在此工作中仍存在很多未知因素。

GPT-Neo是在已知包含粗话、下流和侮辱性语言的数据集Pile上进行训练的。根据您的用途，GPT-Neo可能会生成社会上不可接受的文本。有关Pile中偏见的更详细分析，请参阅Pile论文的第5和第6章。

正如所有语言模型一样，很难预测GPT-Neo如何对特定提示作出回应，可能会出现冒犯性内容而没有警告。我们建议在发布之前让人类对输出结果进行筛选，以过滤不必要的内容并提高结果的质量。

评估结果

所有评估都是使用我们的 evaluation harness 进行的。对于GPT-2和GPT-3的一些结果与各自论文中报告的值不一致。我们目前正在调查原因，并非常感谢您对我们的评估测试提供反馈和进一步测试。如果您想贡献您进行的评估，请在我们的 Discord 上联系我们。

语言推理

Model and Size	Pile BPB	Pile PPL	Wikitext PPL	Lambada PPL	Lambada Acc	Winogrande	Hellaswag
GPT-Neo 1.3B	0.7527	6.159	13.10	7.498	57.23%	55.01%	38.66%
GPT-2 1.5B	1.0468	-----	17.48	10.634	51.21%	59.40%	40.03%
GPT-Neo 2.7B	0.7165	5.646	11.39	5.626	62.22%	56.50%	42.73%
GPT-3 Ada	0.9631	-----	-----	9.954	51.60%	52.90%	35.93%

物理和科学推理

Model and Size	MathQA	PubMedQA	Piqa
GPT-Neo 1.3B	24.05%	54.40%	71.11%
GPT-2 1.5B	23.64%	58.33%	70.78%
GPT-Neo 2.7B	24.72%	57.54%	72.14%
GPT-3 Ada	24.29%	52.80%	68.88%

下游应用

待定

BibTeX条目和引用信息

如需引用此模型，请使用

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

@article{gao2020pile,
  title={The Pile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and others},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

作者:

EleutherAI

数据集大小:

39.7 GB