Pythia Scaling Suite是一套用于促进解释性研究的模型集合。它包含两组八个模型，尺寸分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。对于每个尺寸，都有两个模型：一个是在数据集全局去重之前训练的模型，另一个是在去重之后训练的模型。所有8个模型尺寸都是按照完全相同的数据、完全相同的顺序进行训练的。所有Pythia模型都可在 on Hugging Face 处获得。

Pythia模型套件的设计目标之一是促进关于大型语言模型的科学研究，特别是关于解释性研究的科学研究。尽管未将下游性能作为设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中的类似大小的模型相匹配或超越。

请注意，Pythia套件中的所有模型名称已于2023年1月更名。为了明确起见，本模型卡片中提供了一张比较旧名称和新名称的表格，并提供了准确的参数计数。

Pythia-12B

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多信息： Pythia's GitHub repository ，包括训练过程、配置文件和使用方法的详细信息
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：若要对此模型提问，请加入 EleutherAI Discord ，然后在#release-discussion频道中提问。在EleutherAI Discord上提问之前，请阅读现有的Pythia文档。有关一般通信，请联系contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定大小的去重和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

使用和限制

拟定用途

Pythia的主要拟定用途是研究大型语言模型的行为、功能和限制。该套件旨在为科学实验提供一个可控的环境。为了便于研究语言模型在训练过程中的变化，我们为每个模型提供了143个均匀间隔的中间检查点。这些检查点作为分支托管在Hugging Face上。注意，分支143000与每个模型的主分支上的模型检查点完全对应。

您还可以进一步对Pythia-12B进行微调和适应，只要您的使用符合Apache 2.0许可证的规定。Pythia模型可与Hugging Face的 Transformers Library 一起使用。如果您决定以预训练的Pythia-12B为基础进行微调模型，请自行进行风险和偏差评估。

超出范围的使用

Pythia Suite不适用于部署。它本身不是一个产品，不能用于面向人类的交互。

Pythia模型仅支持英文，不适用于其他语言的翻译或生成文本。

Pythia-12B未经过针对语言模型常见部署情况的下游环境微调，例如写作风格散文或商业聊天机器人。这意味着Pythia-12B不会像ChatGPT那样对给定提示做出响应。这是因为与该模型不同，ChatGPT使用了诸如人类反馈强化学习（RLHF）等方法进行了微调，以更好地“理解”人类指令。

限制和偏见

大型语言模型的核心功能是接收一串文本并预测下一个标记。模型认为统计上最有可能的标记不一定产生最“准确”的文本。永远不要依赖Pythia-12B生成事实准确的输出。

该模型是以 the Pile 为基础进行训练的，该数据集已知包含亵渎性和淫秽或其他令人反感的文本。有关性别、宗教和种族方面的已记录偏见的讨论，请参见 Section 6 of the Pile paper 。Pythia-12B可能会生成社会上不可接受或不受欢迎的文本，即使提示本身不包含任何明确冒犯性的内容。

如果您计划在例如托管推理API中使用生成的文本，我们建议在向其他人呈现之前由人类审核此语言模型的输出。请告知您的受众该文本由Pythia-12B生成。

快速开始

可以使用以下代码加载和使用Pythia模型，下面展示了对pythia-70m-deduped的第三个检查点的使用示例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订版本/分支step143000与每个模型的主分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息，请参见 documentation on GitHub 。

训练

训练数据

The Pile 是一种用于训练大型语言模型的通用数据集，占据825GiB的空间。它由EleutherAI专门用于训练大型语言模型而创建。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如项目古腾堡）、对话（例如YouTube字幕）和其他（例如GitHub、Enron电子邮件）。有关所有数据来源、方法论和道德影响的细分，请参见 the Pile paper 。有关Pile及其组成数据集的更详细的文档，请参见 the datasheet 。可以从 official website 或通过 community mirror 下载Pile。在用于训练Pythia-12B之前，Pile没有进行去重处理。

训练过程

所有模型都在完全相同的数据、完全相同的顺序下进行训练。每个模型在训练期间看到了299,892,736,000个标记，并且每2,097,152,000个标记保存143个检查点，均匀分布在整个训练过程中。这相当于在非去重模型的Pile上进行不到1轮的训练，以及在去重后的Pile上进行大约1.5轮的训练。

所有Pythia模型在一个批次大小为2,097,152个标记的情况下，训练了相当于143,000个步骤。使用了两个批次大小：2M和4M个标记。标明4M个标记批次大小的模型原始训练时使用了71500个步骤，每500步保存一个检查点。与所有2M批次模型保持一致，Hugging Face上的检查点已经重新命名，因此表示pythia-1.4b的step1000是保存的第一个检查点（对应于训练中的步骤500），相应地，step1000也是pythia-6.9b的第一个检查点（对应于1000个“实际”步骤）。有关训练过程的更多细节，请参见 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的tokenizer。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行了评估。您可以通过模型和步骤在results/json/*中的 GitHub repository 中查看结果。请展开下面的部分，查看所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的图表比较。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge—Challenge Set SciQ

命名约定和参数计数

Pythia模型在2023年1月更名。旧的命名约定可能仍在一些文档中以意外方式存在。当前的命名约定（70M、160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200