Pythia Scaling Suite是一个用于促进可解释性研究的模型集合，包含了两组大小分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的模型。对于每个大小，都有两个模型：一个在数据集全局去重之后进行训练的模型，以及一个在Pile上进行训练的模型。所有8个模型大小都是以完全相同的数据、完全相同的顺序进行训练的。所有Pythia模型都可以在 on Hugging Face 上获得。

Pythia模型套件的设计目标是促进大型语言模型的科学研究，尤其是可解释性研究。尽管并非将下游性能作为设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中的相似大小模型相匹配甚至超过。

请注意，Pythia套件中的所有模型在2023年1月更名。为了清楚起见，本模型卡片提供了一个比较旧名称和新名称的表格，附有精确的参数数量。

Pythia-70M-deduped

模型详情

• 开发人员： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多信息： Pythia's GitHub repository （有关训练过程、配置文件和使用详情）
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：要提问关于该模型的问题，请加入 EleutherAI Discord ，并在#release-discussion中发布。在EleutherAI Discord上提问之前，请先阅读现有的Pythia文档。有关一般联系事宜，请发送电子邮件至contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。具有相同大小的去重和非去重模型具有相同的超参数。“等价”模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

拟合使用

Pythia的主要目的是研究大型语言模型的行为、功能和限制。该套件旨在为进行科学实验提供一个可控的环境。为了研究训练过程中语言模型的变化，我们提供了每个模型的143个均匀间隔的中间检查点。这些检查点作为分支托管在Hugging Face上。请注意，分支143000完全对应于每个模型主分支上的模型检查点。

您还可以进一步微调和调整Pythia-70M-deduped以用于部署，只要您的使用符合Apache 2.0许可证的规定。Pythia模型与Hugging Face Transformers Library 兼容。如果您决定将预训练的Pythia-70M-deduped作为您微调模型的基础，请进行自己的风险和偏差评估。

不适用于

Pythia套件不适用于部署。它本身不是一个产品，不能用于人机交互。

Pythia模型仅支持英语，并不适用于其他语言的翻译或文本生成。

Pythia-70M-deduped未经过针对常见部署情境的下游微调，例如写作流派散文或商业聊天机器人。这意味着Pythia-70M-deduped不会像ChatGPT等产品那样根据给定提示进行响应。这是因为与本模型不同，ChatGPT使用了从人类反馈中进行强化学习等方法进行了微调，以更好地“理解”人类指令。

限制和偏差

大型语言模型的核心功能是接受一串文本并预测下一个标记。模型认为统计上最有可能的标记不一定会产生最“准确”的文本。不要依赖于Pythia-70M-deduped来产生事实准确的输出。

该模型是在一个数据集 the Pile 上进行训练的，该数据集已知包含亵渎性语言、淫秽或不当的文本。有关性别、宗教和种族方面的已记录偏见的讨论，请参阅 Section 6 of the Pile paper 。Pythia-70M-deduped可能会产生社会上不可接受或不良的文本，即使提示本身未包含任何明确冒犯性的内容。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在展示给其他人之前由人类进行审核。请告知您的受众该文本是由Pythia-70M-deduped生成的。

快速入门

可以通过以下代码加载和使用Pythia模型，这里以第三个pythia-70m-deduped检查点为例进行演示：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订版/分支step143000与每个模型的主分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

Pythia-70M-deduped是在数据集经过全局去重后的Pile上进行训练的。 The Pile 是一个约825GiB的通用数据集，包含了英语数据。EleutherAI专门为训练大型语言模型而创建了该数据集。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他（例如GitHub、Enron电子邮件）。有关所有数据源、方法论的详细解释以及伦理意义的讨论，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。 Pile可以从 official website 下载，也可以从 community mirror 获取。

训练过程

所有模型都使用完全相同的数据以完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存了143个检查点，均匀分布在整个训练过程中。这相当于在非去重模型上训练不到1个epoch，而在去重后的Pile上训练了约1.5个epoch。

所有Pythia模型以2,097,152个标记的批次大小训练了等价于143000步。我们使用了两个批次大小：2M和4M个标记。列出了4M个标记批次大小的模型最初训练了71500步，并在每500步保存了检查点。Hugging Face上的检查点已重新命名，以与所有2M批次模型保持一致。因此，step1000是保存的pythia-1.4b的第一个检查点（对应于训练中的第500步），step1000也是保存的pythia-6.9b的第一个检查点（对应于1000个“实际”步）。有关培训过程的更多细节，请参阅 GitHub ，其中还包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的标记器。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行了评估。您可以在 GitHub repository 中按模型和步骤访问结果的json格式。展开下面的部分，查看所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的图表。

利兰巴达(LAMBADA) - OpenAI 物理交互：问答（PIQA）更大的Winogrande AI2推理挑战 - 挑战集 SciQ

命名约定和参数计数

Pythia模型在2023年1月更名。可能仍有一些文档中意外保留的旧命名约定。当前的命名约定（70M、160M等）基于总参数数量。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200