INT8 BERT base uncased finetuned MRPC

QuantizationAwareTraining

这是一个通过使用 Intel® Neural Compressor 进行量化的INT8 PyTorch模型。

原始的fp32模型来自于经过微调的模型 Intel/bert-base-uncased-mrpc 。

测试结果

使用最佳值进行加载：

from optimum.intel.neural_compressor.quantization import IncQuantizedModelForSequenceClassification 
int8_model = IncQuantizedModelForSequenceClassification(
    'Intel/bert-base-uncased-mrpc-int8-qat',
)

训练超参数

在训练期间使用了以下超参数：

• learning_rate: 2e-05
• optimizer: Adam，betas=(0.9,0.999)，epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 1.0
• train_batch_size: 8
• eval_batch_size: 8
• eval_steps: 100
• load_best_model_at_end: True
• metric_for_best_model: f1
• early_stopping_patience = 6
• early_stopping_threshold = 0.001