Pythia Scaling Suite是一套用于促进可解释性研究的模型集合。它包含了两组八个不同大小的模型，分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。对于每个大小，都有两个模型：一个是在Pile上训练的，一个是在数据集全局去重后训练的。所有8个模型大小的训练数据具有相同的数据和顺序。我们还在Hugging Face上提供每个模型的154个中间检查点，作为分支托管。

Pythia模型套件的设计目标是促进对大型语言模型的科学研究，尤其是解释性研究。尽管没有将下游性能作为设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中的类似大小的模型相媲美甚至超过。

Details on previous early release and naming convention.

之前，我们向公众发布过Pythia套件的早期版本。然而，我们决定重新训练模型套件以解决一些超参数不一致的问题。本模型卡列出了这些变化，请参阅Pythia论文的附录B进行进一步讨论。我们发现两个Pythia版本之间的基准性能没有差异。旧模型是 still available ，但我们建议刚开始使用Pythia的用户使用重新训练的模型套件。这是当前发布版本。

请注意，Pythia套件中的所有模型在2023年1月更名。为了清楚起见，我们在此模型卡中提供了旧名称和新名称的比较表，并附有确切的参数计数。

Pythia-2.8B

模型细节

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英文
• 了解更多信息： Pythia's GitHub repository 有关训练过程、配置文件和使用详细信息的文档，以及 See paper 有关更多评估和实现细节的文档
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：欢迎加入 EleutherAI Discord 并在其中的#release-discussion频道中提问，但请在询问Pythia相关问题前先阅读现有的Pythia文档。如需一般联系，请发送邮件至contact@eleuther. ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	2M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	2M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	2M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

关于Pythia套件的工程细节。给定大小的去重和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

使用和限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在提供一个受控的环境进行科学实验。我们还提供每个模型的154个检查点：初始化步骤0、10个对数间隔的检查点step{1,2,4...512}，以及从step1000到step143000的143个均匀间隔的检查点。这些检查点在Hugging Face上作为分支托管。请注意，分支143000与每个模型的main分支上的模型检查点完全一致。

您还可以进一步微调和适应Pythia-2.8B以用于部署，只要您的使用符合Apache 2.0许可证的要求。Pythia模型适用于Hugging Face Transformers Library 。如果您决定以预训练的Pythia-2.8B为基础进行微调，请进行自己的风险和偏差评估。

超出范围的用途

Pythia套件不适用于部署。它本身不是一个产品，不能用于与人类进行交互。例如，该模型可能会生成有害或冒犯性的文本。请评估您特定用例的风险。

Pythia模型仅适用于英文，不适合翻译或生成其他语言的文本。

Pythia-2.8B未经过下游情景的微调，这些情景通常会部署语言模型，例如写作流派散文或商业聊天机器人。这意味着Pythia-2.8B不会像ChatGPT等产品那样根据给定提示做出响应。这是因为与该模型不同，ChatGPT使用诸如强化学习从人类反馈中学习等方法进行微调，以更好地“遵循”人类指示。

限制和偏见

大型语言模型的核心功能是输入一串文本并预测下一个标记。模型使用的标记不一定会生成最“准确”的文本。切勿依赖Pythia-2.8B生成准确的输出。

这个模型是在包含粗言秽语、淫秽或其他冒犯性文本的数据集上训练的。有关与性别、宗教和种族相关的已知偏见，请参阅 Section 6 of the Pile paper 。Pythia-2.8B可能会生成不符合社交要求或不受欢迎的文本，即使提示本身没有包含任何明确冒犯性的内容。

如果您计划使用通过托管的推理API生成的文本，我们建议在将其呈现给其他人之前由人工进行审查。请告知您的听众该文本是由Pythia-2.8B生成的。

快速入门

可以通过以下代码加载和使用Pythia模型，此处演示了第三个pythia-70m-deduped检查点的示例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

版本/分支step143000与每个模型的main分支的模型检查点完全一致。有关使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

The Pile 是一个825GiB的通用英文数据集。EleutherAI专门为训练大型语言模型而创建了它。它包含来自22个不同来源的文本，大致分为五个类别：学术写作（例如arXiv），互联网（例如CommonCrawl），散文（例如Project Gutenberg），对话（例如YouTube字幕）和其他（例如GitHub、Enron电子邮件）。有关所有数据来源、方法论和伦理问题的详细信息，请参阅 the Pile paper 。有关Pile及其组成数据集的详细文档，请查看 the datasheet 。可以从 official website 或 community mirror 下载Pile。在用于训练Pythia-2.8B之前，该数据集未经过去重。

训练过程

所有模型都在完全相同的数据和顺序上进行训练。每个模型在训练过程中总共处理了299,892,736,000个标记，并且每2,097,152,000个标记保存了143个检查点，这些检查点均匀分布在step1000到step143000（与main相同）期间。此外，我们还提供频繁的早期检查点：step0和step{1,2,4...512}。这相当于在非去重模型上对Pile进行了不到1个时期的训练，对去重后的Pile进行了约1.5个时期的训练。

所有Pythia模型以2M标记的批处理大小进行了143000个步骤的训练。有关训练过程的更多细节，请参阅 GitHub ，其中包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型均使用了 LM Evaluation Harness 进行评估。您可以在results/json/*路径下的模型和步骤中查看评估结果。展开下面的部分以查看所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的绘图。

LAMBADA – OpenAI Physical Interaction：Question Answering（PIQA） WinoGrande AI2 Reasoning Challenge—Easy Set SciQ

更改日志

本节比较了先前发布的 Pythia v0 和当前模型之间的差异。有关这些更改及其背后动机的进一步讨论，请参阅Pythia论文的附录B。我们发现，重新训练Pythia对基准性能没有影响。

• 现在，所有模型大小都使用统一的2M标记批处理大小进行训练。之前，大小为160M、410M和1.4B参数的模型使用了4M标记的批处理大小进行训练。
• 我们在初始化（step 0）和步骤{1,2,4,8,16,32,64,128,256,512}上添加了检查点，除了每1000个训练步骤保留一个检查点。
• 新的重新训练套件中使用了Flash Attention。
• 我们纠正了原始套件中存在的一个小的不一致性：所有参数小于2.8B的模型都使用学习率（LR）的计划，使其衰减到初始LR的10%作为最小LR，但6.9B和12B的模型都使用将其衰减到0的LR计划。在重新训练运行中，我们纠正了这个不一致性：所有模型现在都使用将最小LR衰减到其最大LR的0.1倍的LR训练。

命名约定和参数计数

Pythia模型在2023年1月更名。可能仍然存在旧的命名约定在某些文档中的使用误区。当前的命名约定（70M、160M等）是基于总参数计数的。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200