Pythia Scaling Suite是一套用于促进解释性研究的模型集合。它包含了大小为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的两个八个模型集。对于每个大小，都有两个模型：一个在Pile数据集上训练，一个在全局去重后的Pile数据集上训练。所有8个模型大小的训练数据完全相同，顺序相同。我们还在Hugging Face上提供了每个模型的154个中间检查点，作为不同分支进行托管。

Pythia模型套件旨在促进关于大型语言模型的科学研究，特别是解释性研究。尽管下游性能不是设计目标，但我们发现这些模型的性能与类似大小的模型（如OPT和GPT-Neo套件中的模型）相当甚至更好。

关于之前的早期版本和命名约定的详细信息。

之前，我们向公众发布了Pythia套件的早期版本。但我们决定重新训练模型套件，以解决一些超参数的不一致性。这个模型卡列出了更改的内容，详细讨论请参见Pythia论文的附录B。我们发现两个Pythia版本之间在基准性能上没有任何差异。旧模型是{ still available }，但如果您刚开始使用Pythia，我们建议使用重新训练的模型套件，这是当前版本。

请注意，Pythia套件中的所有模型已在2023年1月更名。为了清晰起见，在模型卡中提供了一张比较旧名字和新名字的表格，以及精确的参数计数。

Pythia-1.4B-deduped

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英文
• 了解更多： Pythia's GitHub repository （关于训练过程、配置文件和使用细节）、 See paper （关于更多评估和实现细节）
• 库： GPT-NeoX
• 许可：Apache 2.0
• 联系方式：如果您对此模型有任何问题，请加入 EleutherAI Discord ，并在#release-discussion中进行帖子。在EleutherAI Discord中提问之前，请阅读现有的Pythia文档。一般通讯：contact@eleuther. ai

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	2M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	2M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	2M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定大小的去重和非去重模型具有相同的超参数。“等价”模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在提供一个可控的环境，进行科学实验。我们还提供每个模型的154个检查点：初始化步骤0，10个对数间隔的检查点step{1,2,4...512} ，以及从step1000到step143000的143个均匀间隔的检查点。这些检查点在Hugging Face上作为分支进行托管。请注意，分支143000完全对应于每个模型的主分支上的模型检查点。

您还可以进一步微调和调整Pythia-1.4B-deduped以进行部署，只要您的使用符合Apache 2.0许可证。Pythia模型可以与Hugging Face的库一起使用。如果您决定以预训练的Pythia-1.4B-deduped为基础进行微调，请进行自己的风险和偏差评估。

超出范围的使用

Pythia套件不适用于部署。它本身不是一个产品，不能用于用户界面交互。例如，该模型可能生成有害或冒犯性的文本。请评估与您特定用例相关的风险。

Pythia模型仅限于英语，不适用于其他语言的翻译或文本生成。

Pythia-1.4B-deduped没有针对常见部署语言模型的下游场景进行微调，例如写作文体或商业聊天机器人。这意味着Pythia-1.4B-deduped无法像ChatGPT等产品那样根据给定提示做出响应。这是因为ChatGPT等模型使用了强化学习从人类反馈中获得的方法，以更好地“遵循”人类指令。

限制和偏见

大型语言模型的核心功能是接收一串文本并预测下一个标记。模型使用的标记未必产生最“准确”的文本。不要依赖Pythia-1.4B-deduped来生成事实准确的输出。

该模型是在 the Pile 数据集上训练的，该数据集已知包含亵渎性的和不雅或其他冒犯性的文本。有关性别、宗教和种族方面的已记录偏见的讨论，请参见 Section 6 of the Pile paper 。Pythia-1.4B-deduped可能会生成社会上不可接受或不良的文本，即使提示本身不包含任何明确冒犯性的内容。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在向其他人展示之前由人类进行审核。请告知您的用户该文本是由Pythia-1.4B-deduped生成的。

快速入门

可以使用以下代码加载和使用Pythia模型，本质上同样适用于pythia-70m-deduped的第三个检查点：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订版本/分支step143000与每个模型的主分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息，请参见 documentation on GitHub 。

训练

训练数据

Pythia-1.4B-deduped是在全局去重后的Pile数据集上训练的。 The Pile 是一个英文的通用数据集，大小为825GiB。EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他杂项（例如GitHub、Enron邮件）。有关所有数据源、方法论和伦理影响的详细说明，请参见 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参见 the datasheet 。Pile可以从 official website 或 community mirror 下载。

训练流程

所有模型都以完全相同的数据、完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存了143个检查点，均匀分布在从step1000到step143000（与主分支上的模型完全相同）。此外，我们还提供频繁的早期检查点：step0和step{1,2,4...512}。这对应于在非去重模型上仅训练不到1个时期，在去重Pile上训练约1.5个时期。

所有Pythia模型以2M（2,097,152个标记）的批次大小进行了143000个步骤的训练。有关训练过程的更多详细信息，包括 how to reproduce it ，请参见 GitHub 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行了评估。您可以在 GitHub repository 中按模型和步骤访问结果。展开以下部分，查看所有Pythia和Pythia-deduped模型与OPT和BLOOM进行比较的评估结果的图表。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge—Easy Set SciQ

更改日志

此部分比较了先前发布的 Pythia v0 和当前模型之间的差异。有关这些更改及其背后动机的详细讨论，请参见Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。

• 所有模型尺寸现在都使用2M标记的统一批量大小进行训练。以前，模型大小为160M、410M和1.4B的模型使用的是4M标记的批量大小进行训练。
• 我们在每1000个训练步骤之外的步骤（步骤{1,2,4,8,16,32,64,128,256,512}）和初始化（步骤0）处添加了检查点。
• 在新的重新训练套件中使用了Flash Attention。
• 我们纠正了原始套件中存在的一个小不一致性：所有大小为2.8B参数或更小的模型的学习率（LR）调度会衰减到最小LR为开始LR的10%，但6.9B和12B模型都使用将LR衰减到最小LR为0的LR调度。在重新进行的训练中，我们纠正了这个不一致性：现在所有模型都是使用将LR衰减到最大LR的0.1倍作为最小LR进行训练。

命名约定和参数计数

Pythia模型在2023年1月改名。旧的命名约定可能仍在一些文档中错误地存在。当前的命名约定（70M、160M等）是基于总参数计数的。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200