Pythia Scaling Suite是一套用于促进可解释性研究的模型集合。它包含了两组8个不同规模的模型，大小分别为70M，160M，410M，1B，1.4B，2.8B，6.9B和12B。对于每个规模，都有两个模型：一个在Pile数据集上训练，一个是在全球去重处理后的Pile数据集上训练。所有8个模型规模都是在完全相同的数据上按照完全相同的顺序进行训练的。所有Pythia模型都可以在 on Hugging Face 处获得。

Pythia模型套件的设计目标是促进大型语言模型的科学研究，特别是可解释性研究。尽管下游性能不是设计目标，但我们发现这些模型在性能上与OPT和GPT-Neo套件中的类似规模的模型相匹配甚至超过。

请注意，Pythia套件中的所有模型已于2023年1月更名。为了清楚起见，此模型卡中提供了一张比较旧名称和新名称的表格，以及确切的参数数量。

Pythia-1.4B

模型详细信息

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英文
• 了解更多： Pythia's GitHub repository ，了解训练过程、配置文件和使用细节
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：有关此模型的问题，请加入 EleutherAI Discord ，并在#release-discussion中发布。在需要有关Pythia的任何问题之前，请阅读现有的Pythia文档。有关一般事务的联系方式：contact@eleuther.ai

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia Suite的工程细节。给定大小的去重和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

Pythia的主要用途是研究大型语言模型的行为、功能和限制。这套模型旨在提供一个受控的环境来进行科学实验。为了研究语言模型在训练过程中的变化，我们提供了每个模型143个均匀间隔的中间检查点。这些检查点作为分支存储在Hugging Face上。请注意，分支143000与每个模型主分支上的模型检查点完全相对应。

您还可以进一步微调和调整Pythia-1.4B，只要您的使用符合Apache 2.0许可证。Pythia模型可与Hugging Face的 Transformers Library 一起使用。如果您决定将预训练的Pythia-1.4B作为您的微调模型的基础，请进行自己的风险和偏差评估。

不在范围内的使用

Pythia套件不适用于部署。它本身不是产品，不能用于面向人的交互。

Pythia模型仅适用于英语，不适用于其他语言的翻译或生成文本。

Pythia-1.4B没有针对常见的语言模型部署上下文进行微调，例如写作文体散文或商业聊天机器人。这意味着Pythia-1.4B不会像ChatGPT等产品那样根据给定的提示进行响应。这是因为ChatGPT等模型使用了强化学习等方法进行了微调，以更好地“理解”人类指令。

限制和偏见

大型语言模型的核心功能是接收一串文本并预测下一个标记。模型认为统计上最有可能的标记不一定会产生最“准确”的文本。不要依靠Pythia-1.4B产生准确的输出。

这个模型是在包含粗俗语言、色情或其他冒犯性文本的数据集 the Pile 上进行训练的。请参阅 Section 6 of the Pile paper ，了解有关性别、宗教和种族偏见的记录偏见的讨论。即使提示本身不包含任何明确冒犯性内容，Pythia-1.4B可能会生成社会上不可接受或不受欢迎的文本。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在向其他人展示之前由人类进行策划。请告知您的受众文本是由Pythia-1.4B生成的。

快速入门

可以使用以下代码加载和使用Pythia模型，下面以第三个pythia-70m-deduped检查点为例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订/分支step143000与每个模型的主分支上的模型检查点完全相对应。有关如何使用所有Pythia模型的更多信息，请参见 documentation on GitHub 。

训练

训练数据

The Pile 是一个825GiB的通用英文语料库。EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五个类别：学术写作（例如arXiv），互联网（例如CommonCrawl），散文（例如Project Gutenberg），对话（例如YouTube字幕）和杂项（例如GitHub，Enron邮件）。有关所有数据源、方法论和伦理问题的详细介绍，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。可以从 official website 或 community mirror 下载Pile数据集。 进行Pythia-1.4B训练之前，Pile没有进行去重处理。

训练过程

所有模型都以完全相同的数据和完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存了143个检查点，均匀分布在整个训练过程中。这相当于在非去重模型上训练不到1个epoch，在去重Pile上训练了约1.5个epoch。

所有Pythia模型在批大小为2,097,152个标记的情况下进行了相当于143000步的训练。使用了两个批大小：2M和4M。列表中批大小为4M的模型最初是训练了71500步，并在每500步保存了检查点。Hugging Face上的检查点已经按照所有2M批量模型的一致性进行了重命名，因此step1000是保存的pythia-1.4b的第一个检查点（对应于训练中的第500步），step1000同样是保存的pythia-6.9b的第一个检查点（对应于1000个“实际”步骤）。 有关培训程序的更多详细信息，请参阅 GitHub ，包括 how to reproduce it 。 Pythia使用与 GPT-NeoX- 20B 相同的标记器。

评估

使用 LM Evaluation Harness 对所有16个Pythia模型进行了评估。您可以在 GitHub repository 的结果/json/*中按模型和步骤访问结果。展开下面的章节，查看所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果对比的图表。

LAMBADA-OpenAI 物理交互：问答（PIQA）WinoGrande AI2推理挑战-挑战集SciQ

命名约定和参数计数

Pythia模型在2023年1月进行了更名。可能某些文件中仍然存在旧的命名约定。当前的命名约定（70M、160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200