模型:
michaelfeil/ct2fast-pythia-160m
语言:
en许可:
apache-2.0使用C++在CPU或GPU上进行int8推理,加快推理速度,同时减少内存使用2倍到4倍。
的量化版本为 EleutherAI/pythia-160m
pip install hf-hub-ctranslate2>=2.0.6
于2023-05-19进行转换使用
ct2-transformers-converter --model EleutherAI/pythia-160m --output_dir /home/michael/tmp-ct2fast-pythia-160m --force --copy_files tokenizer.json README.md tokenizer_config.json special_tokens_map.json .gitattributes --quantization float16
与 ctranslate2>=3.13.0 和 hf-hub-ctranslate2>=2.0.6 兼容检查点
from hf_hub_ctranslate2 import TranslatorCT2fromHfHub, GeneratorCT2fromHfHub from transformers import AutoTokenizer model_name = "michaelfeil/ct2fast-pythia-160m" # use either TranslatorCT2fromHfHub or GeneratorCT2fromHfHub here, depending on model. model = GeneratorCT2fromHfHub( # load in int8 on CUDA model_name_or_path=model_name, device="cuda", compute_type="int8_float16", tokenizer=AutoTokenizer.from_pretrained("EleutherAI/pythia-160m") ) outputs = model.generate( text=["How do you call a fast Flan-ingo?", "User: How are you doing? Bot:"], ) print(outputs)
这只是一个量化版本,许可条件与原始huggingface repo相同。
Pythia Scaling Suite 是一组旨在促进可解释性研究的模型集合。它包含两套大小为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的模型。对于每个大小,都有两个模型:一个是在数据集全局去重之后训练的Pile上训练的模型,另一个是在Pile上训练的模型。所有8个模型大小都是以完全相同的数据、完全相同的顺序进行训练的。我们还提供每个模型的154个中间检查点,作为分支在Hugging Face上托管。
Pythia模型套件的设计目标不是以增强下游性能为目标,但我们发现这些模型与OPT和GPT-Neo套件中的类似大小的模型在性能方面相当或超过 。
有关先前早期发布和命名约定的详细信息。以前,我们向公众发布了Pythia套件的早期版本。然而,我们决定重新训练模型套件以解决一些超参数不一致的问题。此模型卡片列出了更改内容;有关更多讨论,请参见Pythia论文的附录B。我们发现两个Pythia版本之间的基准性能没有区别。旧的模型是 still available ,但如果您刚开始使用Pythia,我们建议使用重新训练的套件。这是当前发布的版本。
请注意,Pythia套件中的所有模型在2023年1月更名。为了清楚起见,模型卡片中提供了旧名称和新名称的对照表,以及精确的参数计数。
Pythia model | Non-Embedding Params | Layers | Model Dim | Heads | Batch Size | Learning Rate | Equivalent Models |
---|---|---|---|---|---|---|---|
70M | 18,915,328 | 6 | 512 | 8 | 2M | 1.0 x 10 -3 | — |
160M | 85,056,000 | 12 | 768 | 12 | 4M | 6.0 x 10 -4 | GPT-Neo 125M, OPT-125M |
410M | 302,311,424 | 24 | 1024 | 16 | 4M | 3.0 x 10 -4 | OPT-350M |
1.0B | 805,736,448 | 16 | 2048 | 8 | 2M | 3.0 x 10 -4 | — |
1.4B | 1,208,602,624 | 24 | 2048 | 16 | 4M | 2.0 x 10 -4 | GPT-Neo 1.3B, OPT-1.3B |
2.8B | 2,517,652,480 | 32 | 2560 | 32 | 2M | 1.6 x 10 -4 | GPT-Neo 2.7B, OPT-2.7B |
6.9B | 6,444,163,072 | 32 | 4096 | 32 | 2M | 1.2 x 10 -4 | OPT-6.7B |
12B | 11,327,027,200 | 36 | 5120 | 40 | 2M | 1.2 x 10 -4 | — |
Pythia的主要预期用途是研究大规模语言模型的行为、功能和限制。该套件旨在提供进行科学实验的受控环境。我们还为每个模型提供了154个检查点:初始的step0,step{1,2,4...512}的以10的对数间隔的检查点,以及从step1000到step143000的平均间隔的143个检查点。这些检查点托管在Hugging Face上作为分支。请注意,分支143000与每个模型的主分支上的模型检查点完全对应。
您也可以进一步纤细调整和调整Pythia-160M以供部署,只要您的使用符合Apache 2.0许可证。Pythia模型与Hugging Face Transformers Library 配合使用。如果您决定以预训练的Pythia-160M作为您的微调模型的基础,请进行自己的风险和偏差评估。
Pythia套件不适用于部署。它本身不是产品,不能用于人机交互。例如,模型可能会生成有害或冒犯性的文本。请评估与您特定用例相关的风险。
Pythia模型仅支持英语,不适用于其他语言的翻译或生成文本。
Pythia-160M没有针对常见的语言模型部署背景进行微调,例如写作类型散文或商业聊天机器人。这意味着Pythia-160M将无法像ChatGPT等产品一样对给定提示做出响应。这是因为与该模型不同,ChatGPT使用了人类反馈强化学习(Reinforcement Learning from Human Feedback,RLHF)等方法进行了微调,以更好地“遵循”人类指示。
大型语言模型的核心功能是接收一个文本字符串并预测下一个标记。模型使用的标记不一定会产生最“准确”的文本。永远不要依靠Pythia-160M产生确切准确的输出。
该模型是在包含粗言秽语、淫秽或其他冒犯性文本的数据集 the Pile 上进行训练的。有关与性别、宗教和种族有关的已记录偏见的讨论,请参见 Section 6 of the Pile paper 。Pythia-160M可能会生成社会不可接受或不良的文本,即使提示本身不包含任何明确冒犯性的内容。
如果您计划使用通过Hosted Inference API生成的文本,我们建议在向其他人展示之前让人类审核这个语言模型的输出。请告知您的观众该文本是由Pythia-160M生成的。
可以通过以下代码加载和使用Pythia模型,下面演示了如何加载第三个pythia-70m-deduped检查点:
from transformers import GPTNeoXForCausalLM, AutoTokenizer model = GPTNeoXForCausalLM.from_pretrained( "EleutherAI/pythia-70m-deduped", revision="step3000", cache_dir="./pythia-70m-deduped/step3000", ) tokenizer = AutoTokenizer.from_pretrained( "EleutherAI/pythia-70m-deduped", revision="step3000", cache_dir="./pythia-70m-deduped/step3000", ) inputs = tokenizer("Hello, I am", return_tensors="pt") tokens = model.generate(**inputs) tokenizer.decode(tokens[0])
revision/branch step143000与每个模型的主分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息,请参见 documentation on GitHub 。
The Pile 是英语的825GiB通用数据集。它是由EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本,大致分为五类:学术写作(如arXiv)、互联网(如CommonCrawl)、散文(如Project Gutenberg)、对话(如YouTube字幕)和其他(如GitHub、Enron邮件)。有关所有数据源、方法论以及伦理影响的详细说明,请参见 the Pile paper 。有关有关Pile及其组件数据集的更详细文档,请参见 the datasheet 。可以从 official website 或 community mirror 下载Pile。在训练Pythia-160M之前,Pile没有进行去重。
所有模型都使用完全相同的数据以完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个标记,并且每2,097,152,000个标记保存143个检查点,从step1000到step143000,均匀分布(与主分支的模型checkpoint相同)。此外,我们还提供了频繁的早期检查点:step0和step{1,2,4...512}。这相当于在非去重模型的Pile上进行了不到1个时期的训练,以及在去重Pile上进行了大约1.5个时期的训练。
所有的Pythia模型都以2M(2,097,152个标记)的批次大小训练了143000个步骤。有关训练过程的更多详细信息,请参见 GitHub ,包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的标记器。
所有16个Pythia模型都使用 LM Evaluation Harness 进行了评估。您可以在results/json/*中按模型和步骤访问结果,在 GitHub repository 中找到。请展开以下部分,查看所有Pythia和Pythia去重模型与OPT和BLOOM进行比较的评估结果图。
LAMBADA – OpenAI 物理交互:问答(PIQA) WinoGrande AI2推理挑战——简易设置 SciQ此部分比较先前发布的 Pythia v0 版本和当前模型之间的差异。有关这些更改及其背后动机的详细讨论,请参见Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。
Pythia模型在2023年1月更名。可能仍然会有一些文件中意外保留了旧的命名约定。当前的命名约定(70M、160M等)基于总参数计数。
current Pythia suffix | old suffix | total params | non-embedding params |
---|---|---|---|
70M | 19M | 70,426,624 | 18,915,328 |
160M | 125M | 162,322,944 | 85,056,000 |
410M | 350M | 405,334,016 | 302,311,424 |
1B | 800M | 1,011,781,632 | 805,736,448 |
1.4B | 1.3B | 1,414,647,808 | 1,208,602,624 |
2.8B | 2.7B | 2,775,208,960 | 2,517,652,480 |
6.9B | 6.7B | 6,857,302,016 | 6,444,163,072 |
12B | 13B | 11,846,072,320 | 11,327,027,200 |