Pythia Scaling Suite 是一个用于促进可解释性研究的模型集合。它包含了两套大小为 70M、160M、410M、1B、1.4B、2.8B、6.9B 和 12B 的八个模型。对于每个大小，都有两个模型：一个是在数据集进行全局去重操作后训练的，另一个是在 Pile 数据集上训练的。所有8个模型尺寸的训练数据均相同，顺序也相同。所有的 Pythia 模型都可在此处获取 on Hugging Face 。

Pythia 模型套件的设计目标是推动针对大型语言模型的科学研究，特别是可解释性研究。尽管其设计并未以下游性能为目标，但我们发现这些模型的性能与 OPT 和 GPT-Neo 等类似或相同规模的模型相媲美甚至更好。

请注意，Pythia 套件中的所有模型在2023年1月更名。为了清楚起见，此模型卡片提供了一张对比旧名称和新名称的表格，并附有精确的参数计数。

Pythia-2.8B

模型详细信息

• 开发者： EleutherAI
• 模型类型：基于 Transformer 的语言模型
• 语言：英语
• 了解更多： Pythia's GitHub repository ，获取有关训练过程、配置文件和使用方法的详细信息
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：若有关于此模型的问题，请加入 EleutherAI Discord 并在 #release-discussion 发帖提问。在 EleutherAI Discord 上询问问题之前，请阅读现有的 Pythia 文档。一般联系方式：contact@eleuther.ai

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia 套件的工程细节。给定尺寸的去重模型和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构，并且具有相同数量的非嵌入参数。

使用和限制

预期用途

Pythia 的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在为进行科学实验提供一个受控环境。为了研究语言模型在训练过程中如何变化，我们提供了每个模型的 143 个均匀分布的中间检查点。这些检查点作为分支托管在 Hugging Face 上。请注意，分支 143000 正好对应于每个模型在主要分支上的模型检查点。

您还可以进一步微调和调整 Pythia-2.8B 以进行部署，只要您的使用符合 Apache 2.0 许可证。Pythia 模型可与 Hugging Face Transformers Library 进行配合使用。如果您决定将预训练的 Pythia-2.8B 用作您微调模型的基础，请进行自己的风险和偏见评估。

不在范围内的用途

Pythia 套件不适用于部署，它本身不是一个产品，也不能用于面向人类的交互。

Pythia 模型只适用于英文，不适合翻译或生成其他语言的文本。

Pythia-2.8B 没有针对常见部署中的下游环境进行微调，例如写作体裁散文或商业聊天机器人。这意味着 Pythia-2.8B 不会像 ChatGPT 等产品那样对给定的提示做出回应。这是因为与该模型不同，ChatGPT 使用增强学习等方法进行了微调，以更好地"理解"人类指令。

限制和偏见

大型语言模型的核心功能是接受一串文本并预测下一个标记。模型认为统计上最可能的标记不一定会产生最"准确"的文本。不要依赖 Pythia-2.8B 产生事实准确的输出。

该模型是在包含粗言秽语、淫秽或其他冒犯性文本的数据集 the Pile 上进行训练的。有关与性别、宗教和种族相关的已记录偏见的讨论，请参阅 Section 6 of the Pile paper 。Pythia-2.8B 可能会生成社会上不可接受或不受欢迎的文本，即使提示符本身并未包含任何明确冒犯性的内容。

如果您计划使用通过 Hosted Inference API 生成的文本，请在向其他人展示之前由人类进行审核。请告知您的听众该文本是由 Pythia-2.8B 生成的。

快速入门

可以使用以下代码加载和使用 Pythia 模型，下面是示例，展示了如何加载第三个 pythia-70m-deduped 检查点：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

revision/branch step143000 正好对应于每个模型在主分支上的模型检查点。有关如何使用所有 Pythia 模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

The Pile 是一个英语的 825GiB 通用数据集。它由 EleutherAI 专门为训练大型语言模型而创建。其中包含了来自 22 个不同来源的文本，大致分为五个类别：学术写作（例如 arXiv）、互联网（例如 CommonCrawl）、散文（例如 Project Gutenberg）、对话（例如 YouTube 字幕）和杂项（例如 GitHub、Enron 邮件）。有关所有数据来源、方法论和伦理问题的详细信息，请参阅 the Pile paper 。请咨询 the datasheet ，以获取关于 Pile 及其组成数据集的更详细文档。可以从 official website 或 community mirror 下载 Pile。Pythia-2.8B 在使用前未经过去重处理。

训练过程

所有模型均在完全相同的数据上以完全相同的顺序进行训练。每个模型在训练过程中看到了 299,892,736,000 个标记，并在每 2,097,152,000 个标记处保存了 143 个检查点，均匀分布在整个训练过程中。这相当于在非去重数据集上进行了接近 1 个时期的训练，以及在去重后的数据集上进行了约 1.5 个时期的训练。

所有 Pythia 模型在批量大小为 2,097,152 个标记的情况下进行了等效于 143000 步的训练。使用了两种批量大小：2M 和 4M 标记。批量大小为 4M 标记的模型最初是以 71500 步进行训练的，并每 500 步保存一个检查点。Hugging Face 上的检查点以与所有 2M 批量模型一致的方式进行重命名，因此 step1000 是保存的第一个 pythia-1.4b 检查点（对应于训练中的第 500 步），同样，step1000 是保存的第一个 pythia-6.9b 检查点（对应于“实际” 1000 步）。有关训练过程的更多细节，请参阅 GitHub ，包括 how to reproduce it 。Pythia 使用与 GPT-NeoX- 20B 相同的分词器。

评估

使用 LM Evaluation Harness 对所有 16 个 Pythia 模型进行了评估。您可以在 GitHub repository 中按模型和步骤访问结果的 JSON 数据。展开下面的部分，查看包含所有 Pythia 和 Pythia-deduped 模型与 OPT 和 BLOOM 进行比较的评估结果图表。

LAMBADA – OpenAI 真实互动：问题回答（PIQA） WinoGrande AI2 推理挑战-挑战集 SciQ

命名约定和参数计数

Pythia 模型在2023年1月更名。旧的命名约定可能仍然在某些文档中误导。当前的命名约定（70M、160M 等）是基于总参数计数的。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200