BLOOM LM - 8位

BigScience大型开放科学开放访问多语言模型 - 8位

模型卡片

版本1.0 / 2022年5月26日

相关论文： https://arxiv.org/abs/2208.07339

TL;DR

该存储库包含bloom-1b7模型的8位权重。您可以使用transformers==4.28.0和bitsandbytes>0.37.2直接加载此模型！

# pip install accelerate bitsandbytes
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("ybelkada/bloom-1b7-8bit")

如何推送8位权重？

首先，请确保您使用的是上面提到的transformers和bitsandbytes版本。然后像往常一样加载您的8位模型，使用load_in_8bit=True！

# pip install accelerate bitsandbytes
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("bigscience/bloom-1b7", device_map="auto", load_in_8bit=True)

然后只需调用push_to_hub方法或save_pretrained方法，如果您想将8位模型保存在本地

model.push_to_hub("{your_username}/bloom-1b7-8bit")

就是这样！

模型的state_dict里面有什么？

在模型的state dict（pytorch_model.bin文件）内部，您有：

• 量化的int8权重
• 浮点数的量化统计信息