Pythia Scaling Suite 是一套用于促进可解释性研究的模型集合。它包含了大小分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的两组模型。对于每个大小，都有两个模型：一个训练在Pile数据集上，另一个在数据集全局去重之后进行训练。所有8个模型大小都是使用相同的数据按照相同的顺序进行训练的。所有Pythia模型都可在 on Hugging Face 上获得。

Pythia模型套件的设计目标是促进大型语言模型的科学研究，尤其是可解释性研究。尽管并未以改进下游性能为设计目标，但我们发现这些模型在性能上与OPT和GPT-Neo套件中的类似大小的模型相当或超过。

请注意，Pythia套件中的所有模型在2023年1月更名。为了准确起见，本模型卡中提供了一个比较旧名称和新名称的表格，其中包含确切的参数计数。

Pythia-6.9B-deduped

模型细节

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多信息： Pythia's GitHub repository （训练过程、配置文件和使用细节）
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：要问关于此模型的问题，请加入EleutherAI Discord并在#release-discussion中发帖。请在询问EleutherAI Discord中的相关问题之前，请先阅读现有的Pythia文档。有关一般事务的联系方式：contact@eleuther.ai

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。去重和未去重的模型具有相同的超参数。"等价"模型拥有完全相同的架构和非嵌入参数数量。

用途和限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在提供一个受控环境，进行科学实验。为了研究语言模型在训练过程中的变化，我们提供了每个模型的143个均匀间隔的中间检查点。这些检查点作为分支托管在Hugging Face上。请注意，分支143000正好对应于每个模型的main分支上的模型检查点。

您也可以进一步对Pythia-6.9B-deduped进行微调和适应，只要您的使用符合Apache 2.0许可证。Pythia模型可以与Hugging Face Transformers Library 一起使用。如果您决定将预训练的Pythia-6.9B-deduped作为您微调模型的基础，请进行自己的风险和偏差评估。

超出范围的使用

Pythia Suite不适用于部署。它本身不是一个产品，不能用于人机交互。

Pythia模型仅限于英语，不适用于其他语言的翻译或文本生成。

Pythia-6.9B-deduped未经过下游环境的微调，下游环境通常用于部署语言模型，例如写作流派散文或商业聊天机器人。这意味着Pythia-6.9B-deduped不会像ChatGPT等产品那样对给定提示作出回应。这是因为与这个模型不同，ChatGPT使用了诸如从人类反馈中进行强化学习（RLHF）等方法进行微调，以更好地“理解”人类指令。

限制和偏差

大型语言模型的核心功能是接收一串文本并预测下一个标记。模型认为在统计上最有可能的标记未必产生最“准确”的文本。切勿依赖Pythia-6.9B-deduped生成准确的输出文本。

该模型是在 the Pile 上进行训练的，该数据集已知包含亵渎、淫秽或其他冒犯性文本。有关性别、宗教和种族的记录偏差的讨论，请参阅 Section 6 of the Pile paper 。Pythia-6.9B-deduped可能会生成社会不可接受或不良的文本，即使提示本身不包含任何明确冒犯性内容。

如果您计划使用通过托管推断API生成的文本，请在向其他人展示之前有人类对这些语言模型的输出进行策展。请告知您的听众该文本是由Pythia-6.9B-deduped生成的。

快速入门

可以通过以下代码加载和使用Pythia模型，这里演示了加载第三个pythia-70m-deduped检查点的方法：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订/分支step143000完全对应于每个模型的main分支上的模型检查点。有关如何使用所有Pythia模型的更多信息，请参见 documentation on GitHub 。

训练

训练数据

Pythia-6.9B-deduped是在全球去重之后的Pile数据集上进行训练的。 The Pile 是一个825GiB的通用英语数据集。EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和杂项（例如GitHub、Enron Emails）。有关所有数据来源、方法论和伦理问题的详细说明，请参见 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参见 the datasheet 。Pile可以从 official website 或 community mirror 下载。

训练过程

所有模型是在完全相同的数据上、按照完全相同的顺序进行训练的。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存143个检查点，均匀分布在训练过程中。这相当于在非去重的数据集上训练不到1个时期，在去重后的数据集上训练约1.5个时期。

所有Pythia模型在每个批大小为2,097,152个标记的情况下进行了等价于143,000个步数的训练。使用了两个批大小：2M和4M。批大小为4M个标记的模型最初训练了71500步，并且每500步保存一次检查点。Hugging Face上的检查点为了与所有2M批模型保持一致而更名，因此step1000是保存的pythia-1.4b的第一个检查点（对应于训练中的第500步），同样，step1000也是保存的pythia-6.9b的第一个检查点（对应于1000个“实际”步骤）。有关训练过程的更多细节，请参见 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

对所有16个Pythia模型使用了 LM Evaluation Harness 进行了评估。您可以通过模型和步骤在 GitHub repository 中的results/json/*访问结果。展开下面的部分，查看Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的图表比较。

LAMBADA – OpenAI 物理交互：问答（PIQA）WinoGrande AI2推理挑战 - 挑战集SciQ

命名约定和参数计数

Pythia模型在2023年1月更名。原始命名约定可能误导了一些文档。当前的命名约定（70M，160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
13B	12B	11,846,072,320	11,327,027,200