Pythia Scaling Suite是一个用于促进可解释性研究的模型集合。它包含了两组八个模型，大小分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。每个大小都有两个模型：一个是在数据集Deduplicated之前训练的，另一个是在数据集Deduplicated之后训练的。所有8个模型尺寸的训练数据完全相同，训练顺序也完全相同。所有Pythia模型都可以在 on Hugging Face 找到。

Pythia模型套件的设计目标是促进大型语言模型的科学研究，特别是解释性研究。尽管并未将下游性能作为设计目标，但我们发现这些模型在性能方面与OPT和GPT-Neo套件中的类似模型或同样大小的模型相匹配甚至超越。

请注意，Pythia套件中的所有模型在2023年1月进行了重命名。为了明确起见，在本模型卡中提供了一个比较旧名称和新名称的表格，并提供了确切的参数计数。

Pythia-2.8B-deduped

模型细节

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多信息： Pythia's GitHub repository （用于培训过程、配置文件和使用细节）
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：要就此模型提出问题，请加入 EleutherAI Discord 群，并在#release-discussion中发布问题。在EleutherAI Discord中咨询问题之前，请阅读现有的Pythia文档。有关一般联系方式：contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定大小的deduped和非deduped模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

Pythia的主要用途是对大型语言模型的行为、功能和限制进行研究。该套件旨在提供一个受控环境，进行科学实验。为了研究语言模型在训练过程中的变化，我们提供每个模型平均间隔的143个中间检查点。这些检查点作为分支存储在Hugging Face上。请注意，分支143000恰好对应于每个模型的主分支上的模型检查点。

您还可以在符合Apache 2.0许可证的情况下，进一步对Pythia-2.8B-deduped进行微调和适应部署。Pythia模型可以与Hugging Face的 Transformers Library 一起使用。如果您决定使用预训练的Pythia-2.8B-deduped作为细调模型的基础，请进行自己的风险和偏见评估。

不在范围内的使用

Pythia套件不适用于部署。它本身不是一个产品，不能用于人机交互。

Pythia模型只适用于英文，不适合用于其他语言的翻译或生成文本。

Pythia-2.8B-deduped未针对常见的语言模型部署场景进行微调，比如写作体裁散文或商业聊天机器人。这意味着Pythia-2.8B-deduped不会像ChatGPT这样，通过采用强化学习等方法对人类指令做出更好的"理解"，并做出相应的回应。

限制和偏见

大型语言模型的核心功能是接受一串文本并预测下一个标记。模型认为最有可能的标记不一定会产生最"准确"的文本。不要依赖Pythia-2.8B-deduped来产生事实准确的输出。

该模型是用 the Pile 训练的，这是一个已知包含粗言秽语和淫秽或其他令人反感文本的数据集。有关性别、宗教和种族方面的已记录偏见，请参阅 Section 6 of the Pile paper 。Pythia-2.8B-deduped可能会生成社会不可接受或不理想的文本，即使提示本身不包含任何明确的冒犯性内容。

如果您计划使用通过托管推理API生成的文本，我们建议在向其他人展示之前由人类负责对此语言模型的输出进行筛选。请告知您的受众该文本是由Pythia-2.8B-deduped生成的。

快速开始

可以通过以下代码加载和使用Pythia模型，以下示例演示了如何加载第三个pythia-70m-deduped检查点：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

Revision/branch step143000恰好对应于每个模型的主分支上的模型检查点。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

Pythia-2.8B-deduped是在全球去重数据集Pile上训练的。 The Pile 是一个用于训练大型语言模型的全面通用数据集，容量为825GiB，包含来自22个不同来源的文本。大致分为五个类别：学术写作（如arXiv）、互联网（如CommonCrawl）、散文（如Project Gutenberg）、对话（如YouTube字幕）和杂项（如GitHub、恩洛恩电子邮件）。有关所有数据源、方法和伦理问题的详细说明，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。可以从 official website 或 community mirror 下载Pile。

训练过程

所有模型都在完全相同的数据上以完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个令牌，并且每隔2,097,152,000个令牌保存了143个检查点，平均间隔地保存在训练过程中。对于非去重模型来说，这相当于在Pile上进行了不到1个时期的训练，对于去重后的Pile来说，相当于大约进行了1.5个时期的训练。

所有Pythia模型以2,097,152个令牌的批次大小进行了等效于143000个步骤的训练。使用了两种批次大小：2M和4M。在列出批次大小为4M的模型时，最初是在71500个步骤下进行训练的，并且每500个步骤保存了检查点。在Hugging Face上，为了与所有2M批次模型保持一致，检查点被重命名，因此step1000是保存的pythia-1.4b的第一个检查点（对应于训练中的500步），同样，step1000也是保存的pythia-6.9b的第一个检查点（对应于1000个"真实"步骤）。有关训练过程的更多详细信息，请参阅 GitHub ，其中包括关于 how to reproduce it 的更多细节。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行了评估。您可以在 GitHub repository 中按模型和步骤访问结果。展开以下部分，以查看所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的图表。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge – Challenge Set SciQ

命名规则和参数计数

Pythia模型在2023年1月进行了重命名。旧的命名规则可能仍然在某些文档中存在。当前的命名规则（70M、160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200