动态量化的DistilBERT基础版（小写，未经细调）SST-2

目录

• 模型详情
• 如何开始使用该模型

模型详情

模型描述：该模型是在SST-2上经过动态量化的细调模型，通过使用 Intel® Neural Compressor 进行量化。

• 模型类型：文本分类
• 语言：英语
• 许可证：Apache-2.0
• 父模型：有关原始模型的更多详细信息，请查看 this 模型卡。

如何开始使用该模型

需要安装Optimum：pip install optimum[neural-compressor]

要加载量化模型并使用Transformers pipelines 进行推理，可以按照以下步骤操作：

from transformers import AutoTokenizer, pipeline
from optimum.intel import INCModelForSequenceClassification

model_id = "echarlaix/distilbert-base-uncased-finetuned-sst-2-english-int8-dynamic"
model = INCModelForSequenceClassification.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
cls_pipe = pipeline("text-classification", model=model, tokenizer=tokenizer)
text = "He's a dreadful magician."
outputs = cls_pipe(text)