模型:

Intel/bert-base-uncased-mrpc

英文

bert-base-uncased-mrpc

这个模型是在GLUE MRPC数据集上经过微调的版本。它在评估集上取得了以下结果:

  • 损失:0.6978
  • 准确率:0.8603
  • F1值:0.9042
  • 综合得分:0.8822

训练超参数

在训练过程中使用了以下超参数:

  • 学习率:2e-05
  • 训练批次大小:16
  • 评估批次大小:8
  • 种子:42
  • 优化器:Adam,betas=(0.9,0.999),epsilon=1e-08
  • lr_scheduler_type:linear
  • 训练轮数:5.0

框架版本

  • Transformers 4.17.0
  • Pytorch 1.10.0+cu102
  • Datasets 1.14.0
  • Tokenizers 0.11.6