您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
英文乌克兰战争观点模型
该模型是在手动注释为亲乌克兰或亲俄罗斯立场的1.5万条社交媒体帖子的数据集上对 xlm-roberta-base 进行微调的版本。它在平衡测试集（2K）上实现了以下结果：
- 损失：0.2166
- 准确率：0.9315
- F1：0.9315
- 精确度：0.9315
- 召回率：0.9315
- AUC：0.9774（自报告）
模型描述
需要更多信息
预期用途和限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
模型是在这个 notebook 中训练的。
训练超参数
训练时使用了以下超参数：
- 学习率：5e-05
- 训练批大小：16
- 评估批大小：64
- 种子：123
- 优化器：Adam，betas=(0.9,0.999)，epsilon=1e-08
- lr_scheduler_type：线性
- lr_scheduler_warmup_steps：500
- num_epochs：10
训练结果
| Training Loss | Epoch | Step | Validation Loss | Accuracy | F1 | Precision | Recall |
|---|---|---|---|---|---|---|---|
| 0.284 | 1.0 | 1875 | 0.1850 | 0.9295 | 0.9295 | 0.9303 | 0.9295 |
| 0.2271 | 2.0 | 3750 | 0.1551 | 0.9405 | 0.9405 | 0.9414 | 0.9405 |
| 0.2064 | 3.0 | 5625 | 0.1734 | 0.9305 | 0.9305 | 0.9311 | 0.9305 |
| 0.1842 | 4.0 | 7500 | 0.1694 | 0.9315 | 0.9315 | 0.9317 | 0.9315 |
| 0.1628 | 5.0 | 9375 | 0.1838 | 0.9435 | 0.9435 | 0.9438 | 0.9435 |
| 0.1309 | 6.0 | 11250 | 0.2074 | 0.9395 | 0.9395 | 0.9395 | 0.9395 |
| 0.1017 | 7.0 | 13125 | 0.2659 | 0.9365 | 0.9365 | 0.9365 | 0.9365 |
| 0.0778 | 8.0 | 15000 | 0.2851 | 0.94 | 0.9400 | 0.9400 | 0.94 |
| 0.0664 | 9.0 | 16875 | 0.3238 | 0.9385 | 0.9385 | 0.9387 | 0.9385 |
| 0.066 | 10.0 | 18750 | 0.3092 | 0.939 | 0.9390 | 0.9390 | 0.9390 |
框架版本
- Transformers 4.27.4
- Pytorch 2.0.0+cu118
- Tokenizers 0.13.3