Pythia Scaling Suite是一套模型，旨在促进可解释性研究。它包含了八个规模大小的模型，分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。针对每个大小，都有两个模型：一个是在数据集Pile上训练的，另一个是在去重后的数据集Pile上训练的。所有8个模型的训练数据完全相同，顺序也完全相同。我们还提供了每个模型的154个中间检查点，这些检查点存储在Hugging Face上的分支中。

Pythia模型套件旨在促进对大型语言模型的科学研究，尤其是可解释性研究。尽管下游性能并不是设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中类似规模的模型相匹配甚至超过。

有关先前的早期版本和命名约定的详细信息，请参阅本模型卡的附录B。我们发现两个Pythia版本之间在基准性能方面没有差异。旧模型是 still available ，但如果您刚开始使用Pythia，我们建议使用重新训练的套件。这是当前发布的版本。

请注意，Pythia套件中的所有模型在2023年1月更名。为了清晰起见，在本模型卡中提供了旧名称和新名称的对照表，并包含了精确的参数计数。

Pythia-12B-deduped

模型详细信息

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英文
• 了解更多信息： Pythia's GitHub repository （有关训练过程、配置文件和使用方法）、 See paper （有关更多评估和实现细节）
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：要咨询有关此模型的问题，请加入 EleutherAI Discord 并在#release-discussion中发布。在EleutherAI Discord上提问之前，请阅读现有的Pythia文档。有关一般事务的联系方式：contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	2M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	2M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	2M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定大小的去重和非去重模型具有相同的超参数。“相等”的模型具有完全相同的架构和非嵌入参数数量。

使用与限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在提供一个控制的环境，进行科学实验。我们还为每个模型提供了154个检查点：初始检查点step0，10个对数间隔检查点step{1,2,4...512}，以及从step1000到step143000的143个均匀间隔检查点。这些检查点存储在Hugging Face上的分支中。请注意，分支143000与每个模型的main分支上的模型检查点完全相对应。

只要您的使用符合Apache 2.0许可证，您还可以进一步对Pythia-12B-deduped进行微调和适应，Pythia模型可以与Hugging Face Transformers Library 一起使用。如果您决定以预训练的Pythia-12B-deduped为基础进行微调，请进行自己的风险和偏见评估。

超出范围的用途

Pythia套件不适用于部署。它本身不是产品，不能用于面向人类的交互。例如，该模型可能会生成有害或冒犯性的文本。请评估与您特定用例相关的风险。

Pythia模型仅支持英文，不适用于翻译或生成其他语言的文本。

Pythia-12B-deduped没有针对常见的语言模型部署场景进行微调，例如编写流派散文或商业聊天机器人。这意味着Pythia-12B-deduped不会像ChatGPT等产品一样响应给定提示，因为ChatGPT使用了诸如强化学习等方法对其进行了微调，以更好地“遵循”人类指令。

限制和偏见

大型语言模型的核心功能是接收一串文本并预测下一个标记。模型使用的标记不一定产生最“准确”的文本。不要依赖Pythia-12B-deduped生成准确的结果。

此模型是在包含粗话、淫秽或其他冒犯性文本的数据集（ the Pile ）上进行训练的。有关性别、宗教和种族相关的已记录偏见的讨论，请参见 Section 6 of the Pile paper 。即使提示本身不包含任何明确冒犯性内容，Pythia-12B-deduped可能会生成社会不可接受或不可取的文本。

如果您计划使用通过托管的推理API生成的文本，请在将其提供给其他人之前请一个人来对此语言模型的输出进行策划。请告知您的观众该文本是由Pythia-12B-deduped生成的。

快速入门

可以通过以下代码加载和使用Pythia模型，这里展示了第三个pythia-70m-deduped检查点的示例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订/分支step143000与每个模型的main分支上的模型检查点完全相对应。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

Pythia-12B-deduped是在数据集Pile去重之后进行训练的。 The Pile 是一份825GiB的通用英文数据集。它是由EleutherAI专门用于训练大型语言模型的，包含了来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他（例如GitHub、Enron Emails）。有关所有数据来源、方法论以及道德问题的详细说明，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。Pile可以从 official website 或 community mirror 下载。

训练过程

所有模型都是在完全相同的数据上、完全相同的顺序进行训练的。每个模型在训练过程中看到299,892,736,000个标记，每个模型保存了143个检查点，每2,097,152,000个标记保存一个检查点，从step1000到step143000（与main相同）。此外，我们还提供了频繁的早期检查点：step0和step{1,2,4...512}。这相当于在非去重模型上进行了将近1个时期的训练，在去重的Pile上进行了大约1.5个时期的训练。

所有Pythia模型以batch size为2M（2,097,152个标记）进行143,000步的训练。有关训练过程的更多详细信息，请参阅 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

通过 LM Evaluation Harness 对所有16个Pythia模型进行了评估。您可以在 GitHub repository 中按模型和步骤访问结果。展开下面的部分以查看所有Pythia和Pythia-deduped模型与OPT和BLOOM进行比较的评估结果的图表。

LAMBADA – OpenAI Physical Interaction：问答（PIQA） WinoGrande AI2推理挑战——简单集合 SciQ

更改日志

本节比较了先前发布的 Pythia v0 和当前模型之间的区别。有关这些更改及其背后动机的更多讨论，请参见Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。

• 现在，所有模型大小都使用统一的2M标记的批大小进行训练。以前，大小为160M、410M和1.4B的模型是使用4M标记的批大小进行训练的。
• 除了每1000个训练步骤保存一个检查点之外，我们还新增了初始化（step 0）和步骤{1,2,4,8,16,32,64,128,256,512}的检查点。
• 新的重新训练套件使用了Flash Attention。
• 我们纠正了原始套件中存在的一个小矛盾：所有参数在2.8B或更小的模型中，学习率（LR）的调度会衰减到最小LR的起始LR的10%，但6.9B和12B的模型都使用衰减到0的LR调度。在重新训练的运行中，我们纠正了这个矛盾：现在所有模型都使用衰减到最大LR的0.1倍的LR进行训练。

命名约定和参数计数

Pythia模型在2023年1月进行了重新命名。一些文件可能仍然使用旧的命名约定。当前的命名约定（70M、160M等）是基于总参数计数的。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200