Pythia Scaling Suite 是一个用于促进可解释性研究的模型集合。它包含了八个模型集合，各模型集合的大小分别是70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。对于每个大小，都有两个模型：一个在Pile数据集上训练，一个在去重后的Pile数据集上训练。所有8个模型大小都是使用完全相同的数据按照完全相同的顺序训练的。我们还在Hugging Face上提供了每个模型154个中间检查点作为分支进行托管。

Pythia模型套件的设计目标是促进对大型语言模型的科学研究，特别是可解释性研究。尽管下游性能并不是设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中的相似或相同大小的模型相匹配或超越。

以前的早期版本和命名规则的详细信息，请参见附录B中的Pythia论文。我们发现两个Pythia版本之间在基准性能方面没有差异。旧模型是 still available ，但如果您刚开始使用Pythia，我们建议使用重新训练的套件。这是当前的版本。

请注意，Pythia套件中的所有模型在2023年1月更名。为了清晰起见，这份模型卡片中提供了一张比较旧名称和新名称的表格，并附有确切的参数计数。

Pythia-70M

模型细节

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多信息： Pythia's GitHub repository 有关培训过程、配置文件和使用详情的描述， See paper 关于更多评估和实施细节的说明。
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：要就此模型提问，请加入 EleutherAI Discord ，并在#release-discussion中发布问题。在EleutherAI Discord中提问之前，请先阅读现有的Pythia文档。有关一般事务的对话：contact@eleuther. ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	2M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	2M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	2M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia Suite 的工程细节。具有相同大小的去重和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

预期用途

Pythia 的主要预期用途是用于研究大型语言模型的行为、功能和限制。该套件旨在为执行科学实验提供一个受控环境。我们还提供每个模型的154个检查点：初始步骤0，10个对数间隔检查点step{1,2,4...512}，以及从step1000到step143000的143个均匀间隔检查点。这些检查点作为分支托管在Hugging Face上。请注意，分支143000与每个模型的main分支上的模型检查点完全相对应。

您也可以进一步优化和调整Pythia-70M进行部署，只要您的使用符合Apache 2.0许可证。Pythia模型可与Hugging Face Transformers Library 一起使用。如果您决定将预训练的Pythia-70M用作您的自定义模型的基础，请进行自己的风险和偏差评估。

超出范围的使用

Pythia Suite 不适用于部署。它本身不是一个产品，也不能用于人机交互。例如，模型可能会生成有害或冒犯性的文本。请评估与您特定用例相关的风险。

Pythia模型仅适用于英语，不适用于其他语言的翻译或生成文本。

Pythia-70M没有针对通常部署语言模型的下游环境进行微调，例如编写流派散文或商业聊天机器人。这意味着Pythia-70M的回应给定提示的方式与ChatGPT等产品不同。这是因为与该模型不同，ChatGPT经过了诸如从人类反馈中强化学习等方法的微调，以更好地“遵循”人类指令。

限制和偏见

大型语言模型的核心功能是接收一个文本字符串并预测下一个标记。模型使用的标记不一定产生最“准确”的文本。不要依赖Pythia-70M产生事实准确的输出。

该模型是在 the Pile 训练的数据集上进行训练的，该数据集已知包含亵渎性的、淫秽的或具有冒犯性的文本。有关与性别、宗教和种族有关的已记录偏见的讨论，请参见 Section 6 of the Pile paper 。即使提示本身不包含任何明确冒犯的内容，Pythia-70M可能会生成不符合社会标准或不受欢迎的文本。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在呈现给其他人之前有一个人类策划该语言模型的输出。请告知您的观众该文本是由Pythia-70M生成的。

快速入门

通过以下代码可以加载和使用Pythia模型，这里以第三个pythia-70m-deduped检查点为例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

Revision/branch step143000与每个模型的主分支上的模型检查点完全相对应。有关如何使用所有Pythia模型的更多信息，请参见 documentation on GitHub 。

培训

培训数据

The Pile 是一份825GiB的通用英语数据集，是由EleutherAI专门用于训练大型语言模型的。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv），互联网（例如CommonCrawl），散文（例如Project Gutenberg），对话（例如YouTube字幕）和其他杂项（例如GitHub，Enron电子邮件）。有关所有数据来源、方法论和伦理影响的详细信息，请参见 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。可从Hugging Face official website 或 community mirror 下载Pile数据集。在用来训练Pythia-70M之前，Pile数据集没有进行去重。

培训过程

所有模型都使用完全相同的数据按照完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个令牌，并且每2,097,152,000个令牌保存了143个检查点，从step1000到step143000（与main相同）。此外，我们还提供频繁的早期检查点：step0和step{1,2,4...512}。这相当于在非去重模型上对Pile进行不到1个时代的训练，对去重后的Pile进行了约1.5个时代的训练。

所有Pythia模型在批量大小为2M（2,097,152个令牌）的情况下进行了143000个步骤的训练。有关训练过程的更多细节，请参见 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行评估。您可以在 GitHub repository 中按模型和步骤访问结果。展开下面的部分，可以查看所有Pythia和Pythia-deduped模型与OPT和BLOOM进行比较的评估结果图。

LAMBADA – OpenAI 物理交互：问答（PIQA） WinoGrande AI2 推理挑战 - 简单集合 SciQ

更改日志

本节将比较先前发布的 Pythia v0 和当前模型之间的差异。有关这些更改及其背后动机的更多讨论，请参见Pythia论文的附录B。我们发现，重新训练Pythia对基准性能没有影响。

• 现在，所有模型大小都使用统一的2M令牌批量大小进行训练。以前，160M、410M和1.4B参数大小的模型使用的是4M令牌批量大小进行训练。
• 我们添加了初始化（步骤0）和步骤{1,2,4,8,16,32,64,128,256,512}的检查点，以及每1000个训练步骤保存的检查点。
• 在新的重新训练套件中使用了闪电注意力。
• 我们纠正了原始套件中存在的一个小不一致性：所有2.8B参数大小或更小的模型的学习率（LR）计划会衰减到最小LR的10%的初始LR速率，但6.9B和12B模型都使用的LR计划会衰减到最小LR为0。在重新进行的训练运行中，我们纠正了这个不一致性：现在所有模型都使用衰减到最大LR的0.1倍的LR进行训练。

命名规范和参数计数

Pythia模型在2023年1月更名。某些文档中可能仍存在旧的命名规范的错误。当前的命名规范（70M、160M等）是基于总参数计数的。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200