动态量化的DistilBERT基础版本（未分大小写）在SST-2数据集上微调

目录

• 模型详情
• 如何开始使用模型

模型详情

模型描述: 该模型是在SST-2数据集上进行微调的，通过使用动态量化的方式将Fine-Tuned的模型进行了压缩。

• 模型类型: 文本分类
• 语言: 英文
• 授权许可: Apache-2.0
• 原始模型: 更多详情请参考原始模型 this 的相关信息。

如何开始使用模型

PyTorch

要加载量化模型，可以按照以下步骤进行：

from optimum.intel.neural_compressor.quantization import IncQuantizedModelForSequenceClassification

model = IncQuantizedModelForSequenceClassification.from_pretrained("Intel/distilbert-base-uncased-finetuned-sst-2-english-int8-dynamic")

ONNX

这是使用 Intel® Neural Compressor 将模型量化为INT8的ONNX模型。

原始的fp32模型基于Fine-Tuned的模型 DistilBERT 。

from optimum.onnxruntime import ORTModelForSequenceClassification
model = ORTModelForSequenceClassification.from_pretrained('Intel/distilbert-base-uncased-finetuned-sst-2-english-int8-dynamic')