Pythia Scaling Suite 是一个用于促进解释性研究的模型集合。它包含了两套共8个模型，大小分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。对于每个大小，都存在两个模型：一个是在Pile数据集上训练的模型，另一个是在数据集全局去重后训练的模型。所有8个模型大小都是按照完全相同的数据和顺序进行训练的。所有Pythia模型都可在 on Hugging Face 获取。

Pythia模型套件被专门设计用于促进对大型语言模型的科学研究，特别是解释性研究。尽管并没有将下游性能作为设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中的类似大小的模型相匹配或超越。

请注意，Pythia套件中的所有模型已在2023年1月更名。为了清楚起见，在本模型卡中提供了一个比较旧名称和新名称的表格，以及精确的参数计数。

Pythia-1B-deduped

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英文
• 了解更多： Pythia's GitHub repository 以获取有关训练过程、配置文件和使用方法的详细信息。
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：如有关于此模型的问题，请加入 EleutherAI Discord 并在 #release-discussion 中发帖。在 EleutherAI Discord 上提问之前，请阅读现有的 Pythia 文档。联系方式：contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。去重和非去重模型具有相同的超参数。"等价"模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在提供一个受控环境，进行科学实验。为了实现对语言模型在训练过程中如何变化的研究，我们提供了每个模型的143个均匀间隔的中间检查点。这些检查点作为分支存储在Hugging Face上。注意，分支143000与每个模型的 main 分支上的模型检查点完全相对应。

您还可以进一步微调和适应Pythia-1B-deduped以用于部署，只要您的使用符合Apache 2.0许可证。Pythia模型与Hugging Face Transformers Library 兼容。如果您决定将预训练的Pythia-1B-deduped作为您的微调模型的基础，请进行自己的风险和偏差评估。

不在范围内的使用

Pythia套件不适用于部署。它本身不是一个产品，不能用于人机交互。

Pythia模型仅适用于英语，不适用于其他语言的翻译或生成文本。

Pythia-1B-deduped未针对常见的语言模型部署情境进行微调，例如编写体裁散文或商业聊天机器人。这意味着Pythia-1B-deduped不会像ChatGPT等产品那样对给定提示做出回应。这是因为ChatGPT等模型经过了强化学习从人类反馈中进行微调等方法，以更好地“理解”人类指令。

限制和偏见

大型语言模型的核心功能是接收一串文本并预测下一个标记。模型认为统计上最有可能的标记未必会产生最“准确”的文本。不要依赖Pythia-1B-deduped生成事实准确的输出。

该模型是在包含亵渎语言和淫秽或具有其他冒犯性的文本的数据集 the Pile 上进行训练的。有关性别、宗教和种族的已文档化偏见的讨论，请参阅 Section 6 of the Pile paper 。Pythia-1B-deduped可能会生成社会上不可接受或不良的文本，即使提示本身没有包含任何明确冒犯性的内容。

如果您计划使用通过托管推理API生成的文本，我们建议在向其他人展示之前由人类策划此语言模型的输出。请告知您的观众这段文本是由Pythia-1B-deduped生成的。

快速入门

Pythia模型可以通过以下代码加载和使用，这里以第三个pythia-70m-deduped检查点为例进行演示：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

Revision/branch step143000 对应每个模型主要分支上的模型检查点。有关如何使用所有Pythia模型的更多信息，请参见 documentation on GitHub 。

训练

训练数据

Pythia-1B-deduped是在全局去重后的Pile数据集上训练的。 The Pile 是一个包含825GiB英文通用数据的数据集，由EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、网络（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他（例如GitHub，Enron Emails）。有关所有数据源、方法论和伦理影响的详细介绍，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。可以从 official website 下载Pile，也可以从 community mirror 下载。

训练过程

所有模型都是根据完全相同的数据和顺序进行训练的。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存143个检查点，并且这些检查点均匀分布在整个训练过程中。这相当于对非去重模型在Pile上训练不到1个epoch的时间，对去重后的Pile的训练时间约为1.5个epoch。

所有Pythia模型在2,097,152个标记的批量大小下训练相当于143000个步骤。使用了两个批量大小：2M和4M。显示为4M标记批量大小的模型最初是为71500个步骤进行训练的，并且每500个步骤保存一次检查点。Hugging Face上的检查点已进行重命名，以与所有2M批量模型保持一致，因此step1000是保存的pythia-1.4b的第一个检查点（对应训练中的第500个步骤），同样，step1000也是保存的pythia-6.9b的第一个检查点（对应1000个“实际”步骤）。有关训练过程的更多细节，请参见 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行评估。可以通过模型和步骤查看结果，位于 GitHub repository 的results/json/*中。展开下面的部分，可以看到所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的图表对比。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge – Challenge Set SciQ

命名规范和参数计数

Pythia 模型在2023年1月重新命名。旧的命名约定可能仍在一些文档中无意中存在。当前的命名约定（70M，160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200