# Ctranslate2中的快速推理

使用C++在CPU或GPU上进行int8推理，加快推理速度，同时减少内存使用2倍到4倍。

的量化版本为 EleutherAI/pythia-160m

pip install hf-hub-ctranslate2>=2.0.6 

于2023-05-19进行转换使用

ct2-transformers-converter --model EleutherAI/pythia-160m --output_dir /home/michael/tmp-ct2fast-pythia-160m --force --copy_files tokenizer.json README.md tokenizer_config.json special_tokens_map.json .gitattributes --quantization float16

与 ctranslate2>=3.13.0 和 hf-hub-ctranslate2>=2.0.6 兼容检查点

• compute_type=int8_float16 for device="cuda"
• compute_type=int8 for device="cpu"

from hf_hub_ctranslate2 import TranslatorCT2fromHfHub, GeneratorCT2fromHfHub
from transformers import AutoTokenizer

model_name = "michaelfeil/ct2fast-pythia-160m"
# use either TranslatorCT2fromHfHub or GeneratorCT2fromHfHub here, depending on model.
model = GeneratorCT2fromHfHub(
        # load in int8 on CUDA
        model_name_or_path=model_name, 
        device="cuda",
        compute_type="int8_float16",
        tokenizer=AutoTokenizer.from_pretrained("EleutherAI/pythia-160m")
)
outputs = model.generate(
    text=["How do you call a fast Flan-ingo?", "User: How are you doing? Bot:"],
)
print(outputs)

许可和其他备注：

这只是一个量化版本，许可条件与原始huggingface repo相同。

原始描述

Pythia Scaling Suite 是一组旨在促进可解释性研究的模型集合。它包含两套大小为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的模型。对于每个大小，都有两个模型：一个是在数据集全局去重之后训练的Pile上训练的模型，另一个是在Pile上训练的模型。所有8个模型大小都是以完全相同的数据、完全相同的顺序进行训练的。我们还提供每个模型的154个中间检查点，作为分支在Hugging Face上托管。

Pythia模型套件的设计目标不是以增强下游性能为目标，但我们发现这些模型与OPT和GPT-Neo套件中的类似大小的模型在性能方面相当或超过 。

有关先前早期发布和命名约定的详细信息。

以前，我们向公众发布了Pythia套件的早期版本。然而，我们决定重新训练模型套件以解决一些超参数不一致的问题。此模型卡片列出了更改内容；有关更多讨论，请参见Pythia论文的附录B。我们发现两个Pythia版本之间的基准性能没有区别。旧的模型是 still available ，但如果您刚开始使用Pythia，我们建议使用重新训练的套件。这是当前发布的版本。

请注意，Pythia套件中的所有模型在2023年1月更名。为了清楚起见，模型卡片中提供了旧名称和新名称的对照表，以及精确的参数计数。

Pythia-160M

模型详细信息

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多： Pythia's GitHub repository ，了解训练过程、配置文件和使用细节。
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系：有关此模型的问题，请加入 EleutherAI Discord ，并在#release-discussion中发布。在EleutherAI Discord上询问之前，请阅读现有的Pythia文档。有关一般事务的联系：contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定大小的去重和非去重模型具有相同的超参数。“等效”模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

预期用途

Pythia的主要预期用途是研究大规模语言模型的行为、功能和限制。该套件旨在提供进行科学实验的受控环境。我们还为每个模型提供了154个检查点：初始的step0，step{1,2,4...512}的以10的对数间隔的检查点，以及从step1000到step143000的平均间隔的143个检查点。这些检查点托管在Hugging Face上作为分支。请注意，分支143000与每个模型的主分支上的模型检查点完全对应。

您也可以进一步纤细调整和调整Pythia-160M以供部署，只要您的使用符合Apache 2.0许可证。Pythia模型与Hugging Face Transformers Library 配合使用。如果您决定以预训练的Pythia-160M作为您的微调模型的基础，请进行自己的风险和偏差评估。

超出范围的用途

Pythia套件不适用于部署。它本身不是产品，不能用于人机交互。例如，模型可能会生成有害或冒犯性的文本。请评估与您特定用例相关的风险。

Pythia模型仅支持英语，不适用于其他语言的翻译或生成文本。

Pythia-160M没有针对常见的语言模型部署背景进行微调，例如写作类型散文或商业聊天机器人。这意味着Pythia-160M将无法像ChatGPT等产品一样对给定提示做出响应。这是因为与该模型不同，ChatGPT使用了人类反馈强化学习(Reinforcement Learning from Human Feedback，RLHF)等方法进行了微调，以更好地“遵循”人类指示。

限制和偏差

大型语言模型的核心功能是接收一个文本字符串并预测下一个标记。模型使用的标记不一定会产生最“准确”的文本。永远不要依靠Pythia-160M产生确切准确的输出。

该模型是在包含粗言秽语、淫秽或其他冒犯性文本的数据集 the Pile 上进行训练的。有关与性别、宗教和种族有关的已记录偏见的讨论，请参见 Section 6 of the Pile paper 。Pythia-160M可能会生成社会不可接受或不良的文本，即使提示本身不包含任何明确冒犯性的内容。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在向其他人展示之前让人类审核这个语言模型的输出。请告知您的观众该文本是由Pythia-160M生成的。

快速入门

可以通过以下代码加载和使用Pythia模型，下面演示了如何加载第三个pythia-70m-deduped检查点：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

revision/branch step143000与每个模型的主分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息，请参见 documentation on GitHub 。

训练

训练数据

The Pile 是英语的825GiB通用数据集。它是由EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五类：学术写作（如arXiv）、互联网（如CommonCrawl）、散文（如Project Gutenberg）、对话（如YouTube字幕）和其他（如GitHub、Enron邮件）。有关所有数据源、方法论以及伦理影响的详细说明，请参见 the Pile paper 。有关有关Pile及其组件数据集的更详细文档，请参见 the datasheet 。可以从 official website 或 community mirror 下载Pile。在训练Pythia-160M之前，Pile没有进行去重。

训练过程

所有模型都使用完全相同的数据以完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存143个检查点，从step1000到step143000，均匀分布（与主分支的模型checkpoint相同）。此外，我们还提供了频繁的早期检查点：step0和step{1,2,4...512}。这相当于在非去重模型的Pile上进行了不到1个时期的训练，以及在去重Pile上进行了大约1.5个时期的训练。

所有的Pythia模型都以2M（2,097,152个标记）的批次大小训练了143000个步骤。有关训练过程的更多详细信息，请参见 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的标记器。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行了评估。您可以在results/json/*中按模型和步骤访问结果，在 GitHub repository 中找到。请展开以下部分，查看所有Pythia和Pythia去重模型与OPT和BLOOM进行比较的评估结果图。

LAMBADA – OpenAI 物理交互：问答（PIQA） WinoGrande AI2推理挑战——简易设置 SciQ

更新日志

此部分比较先前发布的 Pythia v0 版本和当前模型之间的差异。有关这些更改及其背后动机的详细讨论，请参见Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。

• 所有模型大小现在的统一批大小为2M标记。以前，大小为160M、410M和1.4B的模型使用了4M标记的批大小。
• 我们在初始化（step 0）和步骤{1,2,4,8,16,32,64,128,256,512}之后添加了检查点，除了每1000个训练步骤之外。
• 新的重新训练套件中使用了Flash Attention。
• 我们纠正了原始套件中存在的一个次要不一致性：所有小于2.8B参数的模型的学习率（LR）调度逐渐衰减到最小LR的开始LR的10%，但是6.9B和12B的模型都使用了LR调度逐渐衰减到最小LR为0。在重新训练的运行中，我们纠正了此不一致性：所有模型现在都使用了衰减到最大LR的0.1倍的LR。

命名约定和参数计数

Pythia模型在2023年1月更名。可能仍然会有一些文件中意外保留了旧的命名约定。当前的命名约定（70M、160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200