Pythia Scaling Suite是一套模型集合，旨在促进可解释性研究。它包含了两套不同大小的八个模型，大小分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。每个大小的模型都有两个版本：一个是在数据集全局去重之后训练的，另一个是在原始数据集上训练的。所有的8个模型大小都是使用完全相同的数据按照相同的顺序训练的。我们还提供了每个模型的154个中间检查点，存储在Hugging Face的分支上。

Pythia模型套件被特意设计用于促进大型语言模型的科学研究，尤其是可解释性研究。尽管并没有将下游性能作为设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中的类似模型相匹配甚至超过。

先前版本的早期发布和命名规范详情请查看此模型卡。我们之前向公众发布了Pythia套件的早期版本。然而，我们决定重新训练模型套件，以解决一些超参数的差异。这个模型卡列出了这些改变，请参考Pythia论文附录B进一步讨论。我们发现两个Pythia版本之间的基准性能没有区别。旧版模型的编号是 still available ，但如果您刚开始使用Pythia，我们建议使用重新训练的套件。这是当前的发布版本。

请注意，Pythia套件中的所有模型都在2023年1月更名了。为了清楚起见，本模型卡提供了一个表格，比较了旧名称和新名称，并提供了精确的参数计数。

Pythia-6.9B

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英文
• 了解更多信息： Pythia's GitHub repository 用于训练过程、配置文件和使用详情， See paper 用于更多评估和实现细节。
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：要询问关于该模型的问题，请加入 EleutherAI Discord ，并在其中的#release-discussion频道中发布。在EleutherAI Discord中提问之前，请阅读现有的Pythia文档。有关一般联系事宜，请发送邮件至contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	2M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	2M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	2M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

有关Pythia套件的工程细节。给定大小的去重和非去重模型使用相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。这套模型旨在为科学实验提供受控环境。我们还提供每个模型的154个检查点：初始的step0，10个对数间隔的检查点step{1,2,4...512}，以及从step1000到step143000的143个均匀间隔的检查点。这些检查点存储在Hugging Face的分支上。注意，分支143000与每个模型的主分支上的模型检查点完全对应。

只要您的使用符合Apache 2.0许可证，您还可以进一步微调和适应Pythia-6.9B进行部署。Pythia模型与Hugging Face Transformers Library 兼容。如果您决定将预训练的Pythia-6.9B用作您微调模型的基础，请进行自己的风险和偏见评估。

超出范围的用途

Pythia套件不适用于部署。它本身不是一个产品，不适合用于面向人类的交互。例如，该模型可能会生成有害或冒犯性文本。请评估与您特定用例相关的风险。

Pythia模型只适用于英语，不适合翻译或生成其他语言的文本。

Pythia-6.9B未经过下游背景的微调，比如写作文学流派或商业聊天机器人常见的部署环境。这意味着Pythia-6.9B不会像ChatGPT等产品那样根据给定提示作出回应。这是因为ChatGPT等模型使用了强化学习从人类反馈中学习的方法，以更好地“遵循”人类指令。

限制和偏见

大型语言模型的核心功能是接受一个文本字符串并预测下一个标记。模型使用的标记不一定会产生最“准确”的文本。不要依赖Pythia-6.9B产生事实准确的输出。

该模型是在一个被称为 the Pile 的数据集上训练的，已知包含亵渎和淫秽或其他冒犯性的文本。有关与性别、宗教和种族相关的已记录偏见的讨论，请参阅 Section 6 of the Pile paper 。即使提示本身不包含任何明确冒犯性的内容，Pythia-6.9B可能会生成社会上不被接受或不受欢迎的文本。

如果您计划使用通过例如Hosted Inference API生成的文本，我们建议在向其他人呈现之前由人类策展此语言模型的输出。请告知您的受众该文本是由Pythia-6.9B生成的。

快速开始

可以通过以下代码加载和使用Pythia模型，以下示例演示了如何加载第三个pythia-70m-deduped检查点：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订/分支step143000与每个模型的主分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息，请参见 documentation on GitHub 。

训练

训练数据

The Pile 是一个825GiB的通用英文数据集。它是由EleutherAI专门为训练大型语言模型而创建的。它包含来自22个不同来源的文本，大致可以分为五个类别：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他杂项（例如GitHub、Enron Emails）。有关所有数据来源、方法论和道德影响的详细信息，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。可以从 official website 或 community mirror 下载Pile。在用于训练Pythia-6.9B之前，Pile没有进行去重。

训练过程

所有模型都在完全相同的数据上按照完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存143个检查点，均匀分布在从step1000到step143000（与main相同）的训练过程中。此外，我们还提供了频繁的早期检查点：step0和step{1,2,4...512}。这相当于在非去重模型的Pile上训练不到1个时期，在去重后的Pile上训练了约1.5个时期。

所有Pythia模型都以2M（2,097,152个标记）的批大小训练了143,000个步骤。有关训练过程的更多细节，包括 how to reproduce it ，请参阅 GitHub 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都使用了 LM Evaluation Harness 进行评估。您可以在 GitHub repository 中按模型和步骤访问结果。展开下面的部分，查看所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的图表。

：LAMBADA - OpenAI, ：物理交互：问答（PIQA），：WinoGrande，：AI2推理挑战-简单集合，：SciQ

更改日志

本节比较了先前发布的 Pythia v0 和当前模型之间的差异。有关这些更改及其背后动机的详细讨论，请参阅Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。

• 现在，所有模型大小都使用均匀的2M标记批大小进行训练。以前，大小为160M、410M和1.4B参数的模型是使用4M标记批大小进行训练的。
• 我们新增了初始化（步骤0）和步骤{1,2,4,8,16,32,64,128,256,512}的检查点，除了每1000个训练步骤外。
• 在新的重新训练套件中使用了Flash Attention。
• 我们纠正了最初套件中存在的一个小矛盾之处：大小为2.8B参数或更小的所有模型的学习率（LR）调度器都将学习率衰减到最小LR的10%。但是，6.9B和12B模型都使用了将学习率衰减到最小LR为0的LR调度器。在重新训练运行中，我们纠正了这个矛盾：现在所有模型都是以LR衰减到最大LR的0.1倍最小LR进行训练的。

命名约定和参数计数

Pythia模型在2023年1月重命名。可能某些文档中仍然存在旧的命名约定。当前的命名约定（70M、160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200