Pythia Scaling Suite是一个开发用于促进可解释性研究的模型集合。它包含了两套由70M、160M、410M、1B、1.4B、2.8B、6.9B和12B大小的模型组成的八个不同模型。对于每个模型大小，都有两个模型：一个是在数据集Pile上训练的模型，另一个是在数据集全局去重复后训练的模型。所有8个模型大小的模型都是以完全相同的数据，完全相同的顺序训练的。Pythia所有的模型都可在 on Hugging Face 下载。

Pythia模型套件的设计目标是推进大型语言模型的科学研究，尤其是可解释性研究。尽管不将下游性能作为设计目标，但我们发现这些模型在与OPT和GPT-Neo套件中类似的大小模型的性能方面能够匹配甚至超过。

请注意，Pythia套件中的所有模型在2023年1月更名。为了清晰起见，在此模型卡中提供了一个比较旧名称和新名称的表格，以及准确的参数计数。

Pythia-410M-deduped

模型细节

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多： Pythia's GitHub repository ，包括训练过程、配置文件和使用细节
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：如果想咨询有关此模型的问题，请加入 EleutherAI Discord ，并在#release-discussion中发布。在询问EleutherAI Discord相关问题之前，请阅读现有的Pythia文档。一般的联系方式：contact@eleuther. ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定大小的去重和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

使用和限制

预期使用

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在提供一个进行科学实验的受控环境。为了研究语言模型在训练过程中的变化，我们提供了每个模型143个均匀间隔的中间检查点。这些检查点以分支的形式托管在Hugging Face上。请注意，分支143000与每个模型的main分支上的模型检查点完全对应。

您还可以进一步微调和调整Pythia-410M-deduped以用于部署，只要您的使用符合Apache 2.0许可证。Pythia模型可以与Hugging Face Transformers Library 一起使用。如果您决定以预训练的Pythia-410M-deduped为基础进行微调模型，请进行自己的风险和偏差评估。

不在范围内使用

Pythia套件不适用于部署。它本身不是一个产品，不能用于面向人的交互。

Pythia模型仅支持英语，不适用于翻译或生成其他语言的文本。

Pythia-410M-deduped未经过下游环境的微调，这在常见的部署情况下，如写作流派散文或商业聊天机器人中，是常见的。这意味着Pythia-410M-deduped不会像ChatGPT这样的产品那样对给定的提示进行响应。这是因为与该模型不同，ChatGPT经过了加强学习与人类反馈（RLHF）等方法的微调，以更好地“理解”人类指令。

限制和偏见模型

大型语言模型的核心功能是接收一段文本并预测下一个令牌。根据模型统计最有可能的令牌不一定会产生最“准确”的文本。不要依赖Pythia-410M-deduped产生准确的输出。

该模型是在 the Pile 上进行训练的，这是一个已知包含亵渎、淫秽或其他具有冒犯性的文本和文本的数据集。有关与性别、宗教和种族相关的已记录偏见的讨论，请参阅 Section 6 of the Pile paper 。即使提示本身不包含任何明确冒犯性的内容，Pythia-410M-deduped可能会产生不符合社会规范或不可取的文本。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在将其呈现给其他人之前让人类审核这个语言模型的输出。请告知您的受众这个文本是由Pythia-410M-deduped生成的。

快速入门

Pythia模型可以通过以下代码加载和使用，这里演示了如何使用第三个pythia-70m-deduped检查点：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

Revision/branch step143000与每个模型的main分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

Pythia-410M-deduped是在去重的Pile数据集上训练的。 The Pile 是一个825GiB的通用英语数据集，由EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五个类别：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他（例如GitHub、Enron电子邮件）。有关所有数据源、方法论和伦理问题的详细介绍，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。Pile可以从 official website 或 community mirror 下载。

训练过程

所有模型都在完全相同的数据上、完全相同的顺序进行训练。每个模型在训练过程中见过299,892,736,000个标记，并且每2,097,152,000个标记保存了143个检查点，均匀分布在整个训练过程中。这相当于不去重数据集上训练不到1个epoch，去重后的Pile上训练约1.5个epoch。

所有Pythia模型在2,097,152个标记的批量大小下进行了等值于143,000步的训练。使用了两种批量大小：2M和4M。批量大小为4M标记的模型最初是进行了71,500步的训练，并且每500步保存一次检查点。Hugging Face上的检查点经过重新命名，以与所有2M批量模型保持一致，因此step1000是第一个保存的pythia-1.4b检查点（对应于训练中的step 500），step1000也是第一个pythia-6.9b检查点（对应于step1000的“实际”步骤）。有关训练过程的更多详细信息，请参阅 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都使用了 LM Evaluation Harness 进行了评估。您可以通过模型和步骤在 GitHub repository 的results/json/*中访问结果。展开下面的部分，查看所有Pythia和Pythia-deduped模型与OPT和BLOOM进行比较的评估结果的图表。

LAMBADA - OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge - Challenge Set SciQ

命名规则和参数计数

Pythia模型在2023年1月更名。一些文档可能仍然通过错误而保留了旧的命名方式。当前的命名约定（70M、160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200