Pythia Scaling Suite 是一组用于促进可解释性研究的模型集合。它包含8个规模为70M, 160M, 410M, 1B, 1.4B, 2.8B, 6.9B和12B的模型集合。对于每个规模，都有两个模型：一个在Pile数据集上训练，一个在去重后的Pile数据集上训练。8个模型规模都是基于相同的数据以相同的顺序进行训练。我们还在Hugging Face上提供了每个模型的154个中间检查点，以分支的形式进行托管。

Pythia模型套件的设计目标是促进对大型语言模型的科学研究，尤其是可解释性研究。尽管下游性能不是设计目标，但我们发现这些模型的性能与OPT和GPT-Neo等相似规模的模型相匹配甚至超越。

有关以前的早期版本和命名约定的详细信息。

之前，我们将Pythia套件的早期版本发布给公众。然而，我们决定重新训练模型套件以解决一些超参数的不一致性。本模型卡列出了更改内容；请参阅Pythia论文附录B以获取进一步讨论。我们发现两个Pythia版本在基准性能方面没有差异。旧的模型是 still available ，但如果您刚开始使用Pythia，我们建议使用重新训练的套件。这是当前的发布版本。

请注意，Pythia套件中的所有模型已于2023年1月更名。为了明确起见，在本模型卡中提供了一张比较旧名称和新名称的表格，以及精确的参数计数。

Pythia-1B

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多： Pythia's GitHub repository 用于训练过程，配置文件和使用细节； See paper 用于更多的评估和实施细节。
• 库： GPT-NeoX
• 许可协议：Apache 2.0
• 联系人：要向有关此模型提问，请加入 EleutherAI Discord 并在其中的#release-discussion频道中发布。在EleutherAI Discord中询问相关问题之前，请先阅读现有的Pythia文档。有关一般通信：contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	2M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	2M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	2M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。对于给定规模的去重和非去重模型，具有相同的超参数。"等效"模型具有完全相同的体系结构和相同数量的非嵌入参数。

使用和限制

拟定用途

Pythia的主要拟定用途是对大型语言模型的行为、功能和限制进行研究。这套模型旨在提供一个进行科学实验的受控环境。我们还提供每个模型的154个检查点：初始的step0，10个对数间隔的检查点step{1,2,4...512}，以及从step1000到step143000的143个均匀间隔的检查点。这些检查点在Hugging Face上以分支的形式进行托管。注意，分支143000与每个模型的main分支上的模型检查点完全相对应。

您还可以进一步微调和调整Pythia-1B以进行部署，只要您的使用符合Apache 2.0许可证的规定。Pythia模型与Hugging Face兼容。如果您决定以预训练的Pythia-1B为基础进行微调模型，请进行自己的风险和偏差评估。

超出范围的用途

Pythia套件不适用于部署。它本身不是一个产品，不能用于人机交互。例如，该模型可能会生成有害或冒犯性的文本。请评估您特定用例的风险。

Pythia模型仅适用于英语，不适合翻译或生成其他语言的文本。

Pythia-1B没有经过对常见部署语境（如写作流派散文或商业聊天机器人）进行微调。这意味着Pythia-1B不会像ChatGPT这样响应给定提示，后者是使用强化学习从人类反馈中进行微调以更好地“遵循”人类指令。

限制和偏差

大型语言模型的核心功能是接收一个文本字符串并预测下一个标记。模型使用的标记不一定会生成最“准确”的文本。切勿依赖Pythia-1B以生成事实上准确的输出。

该模型是在含有粗话、淫秽或其他冒犯性文本的 the Pile 数据集上训练的。有关性别、宗教和种族方面的已记录偏见的讨论，请参阅 Section 6 of the Pile paper 。Pythia-1B可能会生成社会不可接受或不期望的文本，即使提示本身不包含任何明确冒犯性的内容。

如果您计划使用通过Hosted Inference API生成的文本，请在将其呈现给其他人之前，请人工筛选这些语言模型生成的文本。请告知您的听众，该文本是由Pythia-1B生成的。

快速开始

可以通过以下代码加载并使用Pythia模型，该代码演示了如何使用第三个pythia-70m-deduped检查点：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订/分支step143000与每个模型的main分支上的模型检查点完全相对应。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

The Pile 是一个825GiB的通用英语数据集，由EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五个类别：学术写作（如arXiv），互联网（如CommonCrawl），散文（如项目古腾堡），对话（如YouTube字幕）和杂项（如GitHub，Enron电子邮件）。有关所有数据源、方法论和伦理问题的详细解释，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。可以从 official website 或 community mirror 下载Pile数据集。在用于训练Pythia-1B之前，Pile数据集并未去重。

训练过程

所有模型都在完全相同的数据上，以完全相同的顺序进行训练。每个模型在训练过程中共经历了299,892,736,000个标记，并且每2,097,152,000个标记保存了143个检查点，均匀分布在从step1000到step143000（与main相同）的训练过程中。此外，我们还提供了频繁的早期检查点：step0和step{1,2,4...512}。这相当于在未去重的数据集上训练不到1个时期，而在去重后的数据集上训练了大约1.5个时期。

所有Pythia模型都以2M（2,097,152个标记）的批大小训练了143,000个步骤。有关训练过程的更多详细信息，请参阅 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

使用 LM Evaluation Harness 进行对所有16个Pythia模型的评估。您可以在结果/json/*中按模型和步骤访问结果，这些结果存储在 GitHub repository 中。展开下面的部分，查看所有Pythia和Pythia-deduped模型与OPT和BLOOM进行比较的评估结果的图表。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge—Easy Set SciQ

变更日志

此部分比较了之前发布的 Pythia v0 和当前模型之间的差异。有关这些更改及其背后动机的详细讨论，请参阅Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。

• 所有模型规模现在的统一批大小为2M标记。先前，规模为160M、410M和1.4B参数的模型是使用4M标记的批大小进行训练的。
• 我们增加了初始化（step 0）和步骤{1,2,4,8,16,32,64,128,256,512}的检查点，除了每1000个训练步骤之外。
• 在新的重新训练套件中使用了Flash Attention。
• 我们纠正了原始套件中存在的一个小的不一致性：所有大小小于或等于2.8B参数的模型的学习率（LR）调度会衰减到最小LR的起始LR的10%，但6.9B和12B模型都使用了LR调度，衰减到最小LR的0.在重新训练过程中，我们纠正了这种不一致性：现在所有模型都使用了衰减到0.1×其最大LR的最小LR进行训练。

命名约定和参数计数

Pythia模型于2023年1月更名。一些文档可能仍然以旧的命名约定存在。当前的命名约定（70M，160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200