英文

stablelm-tuned-alpha-7b-sharded-8bit

这是稳定性ai/stablelm-tuned-alpha-7b模型的分片检查点(使用约4GB的分片),使用8位精度,并使用bitsandbytes。

关于模型的所有细节,请参考 original model 。有关加载8位模型的更多信息,请参考 example repo 和/或4.28.0 release info

  • 总模型大小仅约为7 GB!
  • 这使得可以在低内存加载,即Colab :)

基本用法

您可以将此模型用作笔记本中标准分片模型的即插即用替代品。

Python

安装/升级transformers,accelerate和bitsandbytes。为了使其起作用,您必须拥有transformers >= 4.28.0和bitsandbytes > 0.37.2。

pip install -U -q transformers bitsandbytes accelerate

加载模型。由于它是以8位序列化的,您不需要做任何特殊处理:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "ethzanalytics/stablelm-tuned-alpha-7b-sharded-8bit"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name)