ethzanalytics/gpt-j-6B-8bit-sharded

这是适用于低RAM加载的版本 hivemind/gpt-j-6B-8bit ，即适用于免费的Colab运行时 :)

• shards的大小不超过1000MB
• 一个演示笔记本，展示如何使用它 is here

请参考 original model card for hivemind/gpt-j-6B-8bit 了解所有细节。

用法

注意：在加载模型之前，您需要对其进行“patch”，以使其与加载8位权重等兼容。有关如何执行此操作的详细信息，请参阅上述原始模型卡片。

安装 transformers 、 accelerate 和 bitsandbytes （如果需要）：

pip install transformers accelerate bitsandbytes

对模型进行"patch"，使用 device_map="auto" 进行加载：

import transformers 
from transformers import AutoTokenizer

"""
CODE TO PATCH GPTJForCausalLM GOES HERE
"""

tokenizer = AutoTokenizer.from_pretrained("ethzanalytics/gpt-j-6B-8bit-sharded")

model = GPTJForCausalLM.from_pretrained(
    "ethzanalytics/gpt-j-6B-8bit-sharded",
    device_map="auto",
)

详细信息请参考笔记本。