英文

deberta-v3-base-finetuned-finance-text-classification

这个模型是对 microsoft/deberta-v3-base 在sentence_50Agree上进行微调的版本, financial-phrasebank + Kaggle Dataset 是一个包含4840条金融新闻的数据集,按情感(负面、中性、正面)进行分类。Kaggle的数据集包括Covid-19情感数据,可以在这里找到 sentiment-classification-selflabel-dataset

它在评估集上取得以下结果:

  • 损失:0.7687
  • 准确度:0.8913
  • F1分数:0.8912
  • 精确度:0.8927
  • 召回率:0.8913

模型描述

需要更多信息

预期用途和限制

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数:

  • 学习率:2e-05
  • 训练批大小:16
  • 评估批大小:16
  • 种子:42
  • 优化器:Adam,beta=(0.9,0.999),epsilon=1e-08
  • 学习率调度器类型:线性
  • 训练轮数:15
  • 混合精度训练:Native AMP

训练结果

Training Loss Epoch Step Validation Loss Accuracy F1 Precision Recall
No log 1.0 285 0.4187 0.8399 0.8407 0.8687 0.8399
0.5002 2.0 570 0.3065 0.8755 0.8733 0.8781 0.8755
0.5002 3.0 855 0.4148 0.8775 0.8775 0.8778 0.8775
0.1937 4.0 1140 0.4249 0.8696 0.8699 0.8719 0.8696
0.1937 5.0 1425 0.5121 0.8834 0.8824 0.8831 0.8834
0.0917 6.0 1710 0.6113 0.8775 0.8779 0.8839 0.8775
0.0917 7.0 1995 0.7296 0.8775 0.8776 0.8793 0.8775
0.0473 8.0 2280 0.7034 0.8953 0.8942 0.8964 0.8953
0.0275 9.0 2565 0.6995 0.8834 0.8836 0.8846 0.8834
0.0275 10.0 2850 0.7736 0.8755 0.8755 0.8789 0.8755
0.0186 11.0 3135 0.7173 0.8814 0.8814 0.8840 0.8814
0.0186 12.0 3420 0.7659 0.8854 0.8852 0.8873 0.8854
0.0113 13.0 3705 0.8415 0.8854 0.8855 0.8907 0.8854
0.0113 14.0 3990 0.7577 0.8953 0.8951 0.8966 0.8953
0.0074 15.0 4275 0.7687 0.8913 0.8912 0.8927 0.8913

框架版本

  • Transformers 4.19.2
  • Pytorch 1.11.0+cu113
  • Datasets 2.2.2
  • Tokenizers 0.12.1