模型:
ethzanalytics/dolly-v2-12b-sharded-8bit
这是一个分片的检查点(使用约4GB的分片),使用bitsandbytes以8位精度存储的databricks/dolly-v2-12b模型。
有关模型的所有详细信息,请参考 original model 。有关加载8位模型的更多信息,请参考 example repo 和/或4.28.0的 release info 。
安装/升级transformers、accelerate和bitsandbytes。为了使其正常工作,您必须拥有transformers>=4.28.0和bitsandbytes>0.37.2。
pip install -U -q transformers bitsandbytes accelerate
加载模型。由于它以8位序列化,您无需进行任何特殊操作:
from transformers import AutoTokenizer, AutoModelForCausalLM model_name = "ethzanalytics/dolly-v2-12b-sharded-8bit" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name)