Pythia Scaling Suite是一个用于促进可解释性研究的模型集合。它包含了两组共八个模型，尺寸分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。对于每个尺寸，都有两个模型：一个是在Pile数据集上训练的模型，另一个是在全局去重处理后的Pile数据集上训练的模型。所有8个模型的尺寸都是使用相同的数据按照相同的顺序进行训练的。所有Pythia模型都可在此处获得。

Pythia模型套件的设计目标是促进对大型语言模型的科学研究，尤其是可解释性研究。虽然在设计上并未将下游性能作为主要目标，但我们发现这些模型在性能方面与OPT和GPT-Neo套件中的相似模型或相同尺寸模型相匹配或超过。

请注意，Pythia套件中的所有模型在2023年1月更名。为了明确起见，本模型卡中提供了一张比较旧名称和新名称以及精确参数计数的表格。

Pythia-6.9B

模型细节

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多信息： Pythia's GitHub repository （有关训练过程、配置文件和使用方法的详细信息）
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：要对该模型提出问题，请加入 EleutherAI Discord ，并在#release-discussion频道中发布问题。在EleutherAI Discord中询问相关内容之前，请先阅读现有的Pythia文档。有关一般联系事宜，请发送电子邮件至contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定尺寸的去重和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在为进行科学实验提供一个受控环境。为了研究语言模型在训练过程中的变化，我们提供了每个模型的143个均匀间隔的中间检查点。这些检查点在Hugging Face上作为分支进行托管。请注意，分支143000恰好对应于每个模型的主分支上的模型检查点。

您也可以进一步微调和适应Pythia-6.9B以进行部署，只要符合Apache 2.0许可证的使用规定。Pythia模型可与Hugging Face的 Transformers Library 一起使用。如果您决定将预训练的Pythia-6.9B用作您的微调模型的基础，请进行自己的风险和偏差评估。

不包括在内的用途

Pythia套件不适用于部署。它本身不是一个产品，不能用于面向人的交互。

Pythia模型仅支持英语，并不适用于其他语言的翻译或生成文本。

Pythia-6.9B没有针对常见的语言模型部署背景进行微调，比如写作类型的散文或商业对话机器人。这意味着Pythia-6.9B在响应给定提示时不会像ChatGPT这样。这是因为，与该模型不同，ChatGPT使用了从人类反馈中进行增强学习的方法（RLHF）来更好地"理解"人类指令。

限制和偏见

大型语言模型的核心功能是接收一个文本字符串并预测下一个标记。模型认为统计上最有可能的标记未必会产生最"准确"的文本。切勿依赖Pythia-6.9B来产生事实准确的输出。

该模型是在 the Pile 上进行训练的，该数据集已知包含亵渎和淫秽或其他令人不悦的文本。有关性别、宗教和种族方面的已记录偏见的讨论，请参阅 Section 6 of the Pile paper 。即使提示本身不包含任何明显冒犯性内容，Pythia-6.9B可能会产生社会不可接受或不可取的文本。

如果您计划使用通过Hosted Inference API生成的文本，请在向其他人展示之前请人类审核该语言模型的输出。请告知您的观众该文本是由Pythia-6.9B生成的。

快速开始

可以通过以下代码加载和使用Pythia模型，下面是针对第三个pythia-70m-deduped检查点的示例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订版本/分支step143000恰好对应于每个模型的主分支上的模型检查点。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

The Pile 是一个用于训练大型语言模型的825GiB通用数据集。它由EleutherAI专门用于训练大型语言模型而创建。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他（例如GitHub、Enron Emails）。有关所有数据来源、方法论和伦理问题的详细说明，请参阅 the Pile paper 。更详细地了解Pile及其组成数据集的文档，请参阅 the datasheet 。可以从 official website 或 community mirror 下载Pile数据集。在将Pile用于Pythia-6.9B训练之前，未进行去重处理。

训练过程

所有模型都在完全相同的数据上以完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个令牌，并且每2,097,152,000个令牌保存143个检查点，均匀分布在整个训练过程中。这相当于在未去重的Pile上进行约1个纪元训练，以及在去重后的Pile上进行约1.5个纪元训练。

所有Pythia模型在2,097,152个令牌的批次大小下进行了相当于143,000步的训练。使用了两种批次大小：2M和4M。批次大小为4M令牌的模型的训练步数为71,500步，每500步保存一个检查点。Hugging Face上的检查点已以与所有2M批次模型一致的方式重命名，因此step1000是保存的pythia-1.4b的第一个检查点（对应于训练中的第500步），同样，step1000也是保存的pythia-6.9b的第一个检查点（对应于1000个"实际"步骤）。有关训练过程的更多细节，包括 how to reproduce it ，请参阅 GitHub 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型均使用 LM Evaluation Harness 进行了评估。您可以通过模型和步骤在结果文件夹results/json/*中查看结果。展开下面的部分，查看所有Pythia和Pythia-deduped模型与OPT和BLOOM进行比较的评估结果图。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge—Challenge Set SciQ

命名规范和参数计数

Pythia模型于2023年1月更名。可能在一些文档中仍然存在旧的命名约定。当前的命名约定（70M，160M等）是基于总参数计数的。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200