long-t5-tglobal-xl-16384-book-summary: 8位量化版本

这是 a 根据8位量化的版本，基于 pszemraj/long-t5-tglobal-xl-16384-book-summary 模型。该模型已经通过 bitsandbytes 进行压缩，可以在低内存使用情况下加载。

了解有关模型架构和训练过程的所有详细信息，请参阅 original model 。有关加载8位模型的更多信息，请参阅 4.28.0 release information 和 example repository 。

• 模型的总大小仅约为3.5 GB（与原始12 GB相比）
• 支持低RAM加载，便于在内存受限的环境中使用，如Colab
• 需要 bitsandbytes - 据我所知，在撰写本文时，只能在GPU上工作

基本使用

要使用该模型，请安装或升级 transformers、accelerate 和 bitsandbytes。确保具有 transformers>=4.28.0 和 bitsandbytes>=0.37.2。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model_name = "pszemraj/long-t5-tglobal-xl-16384-book-summary-8bit"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

long-t5-tglobal-xl-16384-book-summary 的更多信息

• 这是 pszemraj/long-t5-tglobal-xl-16384-book-summary 的8位量化版本。
  • 它在学术和叙述文本中表现出合理的泛化能力。
  • XL检查点通常会生成在人类评估角度下更好的摘要。