The Pythia Scaling Suite是一组用于促进可解释性研究的模型集合 (see paper) 。它包含了八个不同规模的模型集合，分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。对于每个规模，有两个模型：一个是在Pile数据集上训练的模型，另一个是在去重后的Pile数据集上训练的模型。所有8个模型规模都是按照相同的数据、相同的顺序进行训练的。我们还提供了每个模型的154个中间检查点，托管在Hugging Face上的分支中。

Pythia模型套件旨在促进大型语言模型的科学研究，特别是可解释性研究。尽管没有将下游性能作为设计目标，但我们发现这些模型在性能方面与OPT和GPT-Neo套件中的类似规模的模型相匹配或超越。

关于先前的早期版本和命名约定的详细信息请参见Pythia论文的附录B。

之前，我们向公众发布了Pythia套件的早期版本。然而，我们决定重新训练模型套件，以解决一些超参数的差异。这个模型卡列出了这些变化；请参阅Pythia论文的附录B以获取更多讨论。我们发现两个Pythia版本在基准性能方面没有差异。旧模型是 still available ，但如果您刚开始使用Pythia，我们建议使用重新训练的套件。这是当前版本。

请注意，所有Pythia套件中的模型在2023年1月进行了重新命名。为了清晰起见，在本模型卡中提供了比较旧名称和新名称的表格，以及精确的参数计数。

Pythia-70M-deduped

模型细节

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多： Pythia's GitHub repository 是有关训练过程、配置文件和使用细节的链接。 See paper 是有关更多评估和实施细节的链接。
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：如果您对此模型有任何问题，请加入 EleutherAI Discord ，并在#release-discussion中发布。在询问有关Pythia的问题之前，请先阅读现有的Pythia文档。有关一般通信，请联系contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	2M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	2M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	2M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定大小的去重和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。这个套件旨在提供一个进行科学实验的受控环境。我们还提供每个模型的154个检查点：初始步骤0，10个对数间隔的检查点step{1,2,4...512}，以及从step1000到step143000的143个均匀间隔的检查点。这些检查点在Hugging Face上作为分支托管。注意，分支143000完全对应于每个模型的主分支上的模型检查点。

您还可以进一步对Pythia-70M-deduped进行微调和适应，只要您的使用符合Apache 2.0许可证的规定。Pythia模型可以与Hugging Face的 Transformers Library 一起使用。如果您决定以预训练的Pythia-70M-deduped为基础进行微调，请进行自己的风险和偏见评估。

超出范围的用途

Pythia套件不适用于部署。它本身不是产品，不能用于面向人的交互。例如，该模型可能会生成有害或冒犯性的文本。请评估与您特定用例相关的风险。

Pythia模型仅适用于英语，不适用于其他语言的翻译或文本生成。

Pythia-70M-deduped没有针对常见的部署环境进行微调，例如写作流派散文或商业聊天机器人。这意味着Pythia-70M-deduped不会像ChatGPT等产品那样响应给定提示。这是因为与本模型不同，ChatGPT使用了增强学习从人类反馈中学习的方法，以更好地"遵循"人类指示。

限制和偏见

大型语言模型的核心功能是接收一个文本字符串并预测下一个标记。模型使用的标记不一定会产生最准确的文本。不要依赖Pythia-70M-deduped来产生事实准确的输出。

该模型是在 the Pile 上进行训练的，该数据集已知包含粗话、淫秽或其他冒犯性文本。请参阅 Section 6 of the Pile paper 以了解有关性别、宗教和种族偏见的文件偏见讨论。Pythia-70M-deduped可能会生成社会不可接受或不受欢迎的文本，即使提示本身不包含任何明确冒犯性的内容。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在向其他人呈现之前由人类进行审查。请告知您的观众这段文本是由Pythia-70M-deduped生成的。

快速入门

可以通过以下代码加载和使用Pythia模型，这里以第三个pythia-70m-deduped检查点为例:

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

Revision/branch step143000与每个模型的主分支上的模型检查点完全相对应。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

Pythia-70M-deduped是在经过全局去重的Pile数据集上进行训练的 The Pile 。Pile是一个容量为825GiB的英语通用数据集，由EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五个类别：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和杂项（例如GitHub、Enron邮件）。请参阅 the Pile paper 以了解所有数据来源、方法论和伦理问题的详细介绍。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。Pile可以从 official website 或 community mirror 下载。

训练过程

所有的模型都是在完全相同的数据和完全相同的顺序下训练的。每个模型在训练过程中看到了299,892,736,000个令牌，并且每个模型保存了143个检查点，每2,097,152,000个令牌保存一个，均匀地分布在从step1000到step143000（与main相同）的训练过程中。此外，我们还提供了频繁的早期检查点：step0和step{1,2,4...512}。这相当于在未去重的模型上对Pile进行了不到1个时期的训练，对于去重的Pile则约为1.5个时期。

所有Pythia模型的训练步骤为143000步，批量大小为2M（2,097,152个令牌）。有关训练过程的更多详细信息，请参阅 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型均使用 LM Evaluation Harness 进行评估。您可以在结果目录的results/json/*中按模型和步骤访问结果，请参阅 GitHub repository 。展开下面的章节以查看所有Pythia和Pythia-deduped模型与OPT和BLOOM比较的评估结果图。

LAMBADA - OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge—Easy Set SciQ

更改记录

此部分比较了先前发布的 Pythia v0 和当前模型之间的差异。有关这些更改及其背后动机的进一步讨论，请参阅Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。

• 所有模型规模现在都是使用统一的2M令牌批量大小进行训练。以前，大小为160M、410M和1.4B的模型是使用4M令牌批量大小进行训练的。
• 我们除了每1000个训练步骤外，还添加了初始步骤0和步骤{1,2,4,8,16,32,64,128,256,512}的检查点。
• 新的重新训练套件中使用了Flash Attention。
• 我们纠正了原始套件中存在的一个小矛盾之处：所有2.8B参数或更小规模的模型都具有学习率（LR）调度，将LR衰减到起始LR的10%作为最小LR，但6.9B和12B模型都使用了将LR衰减到0的LR调度。在重新进行的训练运行中，我们纠正了这个不一致：所有模型现在都是根据其最大LR衰减到0.1倍的最小LR进行训练。

命名约定和参数计数

Pythia模型在2023年1月进行了重新命名。旧的命名约定在一些文档中可能仍然存在于错误中。当前的命名约定（70M、160M等）基于总参数数目。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200