Pythia Scaling Suite 是一个用于促进可解释性研究的模型集合。它包括两套八个模型，大小分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。每个大小都有两个模型：一个在数据集Pile上训练，一个在数据集去重后的Pile上训练。所有8个模型大小的训练数据完全相同，排序也完全相同。所有Pythia模型均可在此处获得 on Hugging Face 。

Pythia模型套件的设计目标是促进大型语言模型的科学研究，尤其是可解释性研究。尽管并未将下游性能作为设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中的类似型号的模型相当甚至超出预期。

请注意，Pythia套件中的所有模型于2023年1月更名。为了明确起见，此模型卡片中提供了一个可以比较旧名称和新名称的表格，以及准确的参数数量。

Pythia-160M-deduped

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多：在此处查看培训过程、配置文件以及使用详细信息 Pythia's GitHub repository
• 库： GPT-NeoX
• 许可：Apache 2.0
• 联系方式：要对该模型提问，请加入 EleutherAI Discord ，并在 #release-discussion 中发布问题。在提问前，请先阅读现有的 Pythia 文档。有关一般事务的联系方式：contact@eleuther.ai 。

使用和限制

Pythia的主要预期用途是对大型语言模型的行为、功能和限制进行研究。该套件旨在为进行科学实验提供受控环境。为了研究语言模型在训练过程中的变化，我们提供了每个模型的143个均匀间隔的中间检查点。这些检查点作为分支存储在Hugging Face上。请注意，分支 143000 与每个模型的 main 分支的模型检查点完全相对应。

您还可以进一步微调和调整Pythia-160M-deduped以进行部署，只要符合Apache 2.0许可证的要求。Pythia模型可以与Hugging Face Transformers Library 使用。如果您决定以预训练的Pythia-160M-deduped作为基础来微调模型，请进行自己的风险和偏见评估。

Pythia Suite不适用于部署。它本身不是一种产品，不能用于面向用户的交互。

Pythia模型仅适用于英语，不适用于其他语言的翻译或生成文本。

Pythia-160M-deduped未针对常见的语言模型部署环境进行下游环境微调，例如编写流派散文或商业聊天机器人。这意味着Pythia-160M-deduped不会像ChatGPT等产品那样根据强化学习从人类反馈中提高“理解”人类指令的能力。

大型语言模型的核心功能是接收一个文本字符串并预测下一个令牌。模型认为统计上最有可能的标记未必会产生最“准确”的文本。永远不要依赖Pythia-160M-deduped生成准确的输出。

此模型是使用已知包含粗俗语言、淫秽或其他不良文本的数据集 the Pile 进行训练的。有关与性别、宗教和种族相关的已记录偏见的讨论，请参阅 Section 6 of the Pile paper 。即使提示文本本身不包含任何明确的冒犯性内容，Pythia-160M-deduped也可能生成不符社会规范或不被期望的文本。

如果您计划使用通过托管推理API生成的文本，我们建议在向他人呈现之前，请人类对这种语言模型的输出进行策划。请告知您的观众该文本是由Pythia-160M-deduped生成的。

快速开始

可以通过以下代码加载和使用Pythia模型，此处以第三个 pythia-70m-deduped 检查点为例进行演示：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订版/分支 step143000 完全对应每个模型的 main 分支上的模型检查点。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

Pythia-160M-deduped 是在数据集Pile去重后训练的。 The Pile 是一个英语的825GiB通用数据集。它由EleutherAI专门用于训练大型语言模型而创建。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv），互联网（例如CommonCrawl），散文（例如Project Gutenberg），对话（例如YouTube字幕）和其他（例如GitHub，Enron电子邮件）。有关所有数据源、方法论和伦理问题的详细信息，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。可以从 official website 或来自 community mirror 下载Pile。

所有模型都在完全相同的数据、完全相同的顺序下进行训练。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存143个检查点，均匀分布在整个训练过程中。这相当于在非去重的模型上在Pile上进行不到1个epoch的训练，在去重后的Pile上进行了大约1.5个epoch的训练。

所有 Pythia 模型以2,097,152个标记的批次大小训练了相当于143,000个步骤。使用了两个批次大小：2M和4M。批次大小为4M标记的模型最初进行了71,500个步骤的训练，每500个步骤保存检查点。为了与所有2M批次模型保持一致，Hugging Face上的检查点已重命名，因此 step1000 是保存的 pythia-1.4b 的第一个检查点（对应训练中的第500步）， step1000 同样是保存的 pythia-6.9b 的第一个检查点（对应 1000 个“实际”步骤）。有关训练过程的更多详细信息，请参阅 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都在 LM Evaluation Harness 上进行了评估。您可以通过模型和step在 GitHub repository 上的 results / json / * 访问结果。展开下面的部分，可以查看所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的绘图。 LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge – Challenge Set SciQ

命名约定和参数数量

Pythia 模型于2023年1月改名。在某些文档中可能仍然存在旧的命名约定。当前的命名约定（70M、160M等）基于总参数数量。