英文

dolly-v2-7b:8位分片检查点

这是使用bitsandbytes以8位精度对databricks/dolly-v2-7b模型进行分片检查点(每个分片大小约为2GB)。

有关所有细节,请参阅 original model 。有关加载8位模型的更多信息,请参阅 example repo 或4.28.0 release info

  • 总模型大小仅为约7.5GB!
  • 这使得低内存加载成为可能,即Colab:)

基本用法

安装/升级transformers、accelerate和bitsandbytes。为使其工作,您必须拥有transformers >= 4.28.0和bitsandbytes > 0.37.2。

pip install -U -q transformers bitsandbytes accelerate

加载模型。由于它以8位序列化,所以您不需要做任何特殊处理:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "ethzanalytics/dolly-v2-7b-sharded-8bit"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name)