英文

dolly-v2-12b: 分片的 8位 检查点

这是一个分片的检查点(使用约4GB的分片),使用bitsandbytes以8位精度存储的databricks/dolly-v2-12b模型。

有关模型的所有详细信息,请参考 original model 。有关加载8位模型的更多信息,请参考 example repo 和/或4.28.0的 release info

  • 总模型大小仅约为12.5 GB!
  • 这使得在RAM较低的情况下加载成为可能,例如Colab :)
  • 更新 :通过设置use_cache=Ture并通过对比搜索生成,可以大大提高生成速度。 example notenook here

基本用法

安装/升级transformers、accelerate和bitsandbytes。为了使其正常工作,您必须拥有transformers>=4.28.0和bitsandbytes>0.37.2。

pip install -U -q transformers bitsandbytes accelerate

加载模型。由于它以8位序列化,您无需进行任何特殊操作:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "ethzanalytics/dolly-v2-12b-sharded-8bit"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name)