英文

distilRoberta-financial-sentiment

这个模型是在 financial_phrasebank 数据集上,对 distilroberta-base 进行微调得到的版本。在评估集上实现了以下结果:

  • 损失:0.1116
  • 准确率:0.9823

模型描述

需要更多信息

预期用途和限制

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数:

  • 学习率:2e-05
  • 训练批量大小:8
  • 评估批量大小:8
  • 种子:42
  • 优化器:Adam,beta 值为 (0.9,0.999),epsilon 为 1e-08
  • 学习率调度器类型:linear
  • 训练轮数:5

训练结果

Training Loss Epoch Step Validation Loss Accuracy
No log 1.0 255 0.1670 0.9646
0.209 2.0 510 0.2290 0.9558
0.209 3.0 765 0.2044 0.9558
0.0326 4.0 1020 0.1116 0.9823
0.0326 5.0 1275 0.1127 0.9779

框架版本

  • Transformers 4.10.2
  • Pytorch 1.9.0+cu102
  • Datasets 1.12.1
  • Tokenizers 0.10.3