Pythia Scaling Suite是一个研究可解释性的模型集合。它包含了大小为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的两套模型。对于每个大小，有两个模型：一个在数据集加入了全局去重之后进行训练，一个在原始数据集上进行训练。所有8个模型大小的训练数据顺序和内容都完全相同。所有Pythia模型都可以在这里找到。

Pythia模型套件是专门为了促进对大型语言模型进行科学研究，特别是可解释性研究而设计的。尽管性能并不是其设计目标的核心，但我们发现这些模型在性能上与OPT和GPT-Neo套件中的类似大小的模型相匹敌甚至超出。

请注意，Pythia套件中的所有模型在2023年1月更名。为了清楚起见，在本模型卡片中提供了一个比较旧名称和新名称的表格，以及准确的参数计数。

Pythia-1B

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多： Pythia's GitHub repository 了解训练过程、配置文件和使用详情
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：要询问关于这个模型的问题，请加入 EleutherAI Discord ，并在 #release-discussion 频道中提问。在EleutherAI Discord中询问相关问题之前，请阅读现有的Pythia文档。有关一般事务，请联系 contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定大小的去重和非去重模型具有相同的超参数。“等效”模型具有完全相同的架构和相同数量的非嵌入参数。

使用和限制

预期用途：

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在提供进行科学实验的控制环境。为了研究语言模型在训练过程中的变化，我们提供了每个模型的143个平均间隔的中间检查点。这些检查点作为分支保存在Hugging Face上。注意，分支 143000 精确对应每个模型的主要分支上的模型检查点。

您也可以进一步微调和适应Pythia-1B进行部署，只要您的使用符合Apache 2.0许可证。Pythia模型可与Hugging Face进行配合使用。如果您决定使用预训练的Pythia-1B作为您微调模型的基础，请进行自己的风险和偏差评估。

不在范围之内的使用：

Pythia套件不适用于部署。它本身不是产品，不能用于面向人类的交互。

Pythia模型仅适用于英文，不适用于翻译或生成其他语言的文本。

Pythia-1B未经过下游场景的微调，这些场景通常会常见地使用语言模型，比如写作流派散文或商业聊天机器人。这意味着Pythia-1B不会像ChatGPT等产品那样按照给定提示进行回应。这是因为ChatGPT等模型使用增强学习人类反馈的方法进行微调，以更好地“理解”人类指令。

限制和偏见：

大型语言模型的核心功能是接受一串文本并预测下一个标记。模型认为在统计上最有可能的标记未必产生最“准确”的文本。永远不要依赖Pythia-1B来生成事实准确的输出。

该模型是在 the Pile 上进行训练的，这是一个已知包含亵渎言语和不雅或其他冒犯性文本的数据集。有关性别、宗教和种族等方面的已记录偏见，请参阅 Section 6 of the Pile paper 。即使提示本身不包含任何明确冒犯性内容，Pythia-1B可能会生成不符合社会道德或不受欢迎的文本。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在呈现给其他人之前由人类审查这个语言模型的输出。请告知您的听众这段文本是由Pythia-1B生成的。

快速入门

可以通过以下代码加载和使用Pythia模型，这里以第三个 pythia-70m-deduped 检查点为例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订版/分支 step143000 精确对应每个模型的主要分支上的模型检查点。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据：

The Pile 是一个825GiB的通用英语数据集。EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五个类别：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和杂项（例如GitHub、Enron邮件）。有关所有数据源、方法和伦理问题的详细信息，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参考 the datasheet 。Pile可以从 official website 下载，也可以从 community mirror 获取。在用于训练Pythia-1B之前，Pile没有进行去重。

训练过程：

所有模型都以完全相同的数据、完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个标记，并且每隔2,097,152,000个标记保存143个检查点，平均间隔地分布在整个训练过程中。这对应于非去重模型在Pile上训练不到1个时代，去重Pile上训练约1.5个时代。

所有的Pythia模型都在batch size为2,097,152个标记的情况下进行了相当于143,000个步骤的训练。使用了两个批次大小：2M和4M个标记。批次大小为4M标记的模型最初进行了71500个步骤的训练，并且每500步保存一个检查点。为了与所有2M批次模型保持一致，Hugging Face上的检查点被重新命名，因此 step1000 是保存的 pythia-1.4b 第一个检查点（对应于训练中的500步），step1000 也是保存的 pythia-6.9b 第一个检查点（对应于1000个“实际”步骤）。有关训练过程的更多细节，请参见 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行了评估。您可以在 The Pile 中按模型和步骤访问结果的JSON形式。请展开下面的部分，查看所有Pythia和Pythia去重模型与OPT和BLOOM的评估结果图。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge—Challenge Set SciQ

命名规范和参数计数

Pythia模型在2023年1月更名。可能仍然存在一些文档中的旧命名约定的错误。当前的命名约定（70M、160M等）基于总的参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200