模型:

mrm8488/distilroberta-base-finetuned-suicide-depression

英文

distilroberta-base-finetuned-suicide-depression

该模型是在未知数据集上对 distilroberta-base 进行微调的版本。它在评估集上达到了以下结果:

  • 损失:0.6622
  • 准确率:0.7158

模型描述

这只是一个在 SDCNL 数据集上对转推中的自杀(标签1)或抑郁(标签0)进行检测的Transformer的POC(概念验证)。请勿在生产环境中使用。

预期用途和限制

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

在训练过程中使用了以下超参数:

  • 学习率:2e-05
  • 训练批大小:8
  • 评估批大小:8
  • 种子:42
  • 优化器:Adam,beta=(0.9,0.999),epsilon=1e-08
  • 学习率调度器类型:linear
  • 训练轮数:5

训练结果

Training Loss Epoch Step Validation Loss Accuracy
No log 1.0 214 0.6204 0.6632
No log 2.0 428 0.6622 0.7158
0.5244 3.0 642 0.7312 0.6684
0.5244 4.0 856 0.9711 0.7105
0.2876 5.0 1070 1.1620 0.7

框架版本

  • Transformers 4.11.3
  • Pytorch 1.9.0+cu111
  • Datasets 1.13.0
  • Tokenizers 0.10.3