您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
philschmid/distilbert-base-multilingual-cased-sentiment
英文distilbert-base-multilingual-cased-sentiment
该模型是基于amazon_reviews_multi数据集上的 distilbert-base-multilingual-cased 号模型进行微调的版本。在评估集上达到以下结果：
- 损失值：0.5842
- 精确度：0.7648
- F1得分：0.7648
模型描述
需要更多信息
预期用途和限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
训练超参数
训练过程中使用了以下超参数：
- 学习率：5e-05
- 训练批大小：16
- 评估批大小：16
- 随机种子：33
- 分布式类型：sagemaker_data_parallel
- 设备数：8
- 总训练批大小：128
- 总评估批大小：128
- 优化器：Adam，beta=(0.9,0.999)，epsilon=1e-08
- 学习率调度器类型：linear
- 学习率调度器预热步数：500
- 训练轮数：5
- 混合精度训练：Native AMP
训练结果
| Training Loss | Epoch | Step | Validation Loss | Accuracy | F1 |
|---|---|---|---|---|---|
| 0.6405 | 0.53 | 5000 | 0.5826 | 0.7498 | 0.7498 |
| 0.5698 | 1.07 | 10000 | 0.5686 | 0.7612 | 0.7612 |
| 0.5286 | 1.6 | 15000 | 0.5593 | 0.7636 | 0.7636 |
| 0.5141 | 2.13 | 20000 | 0.5842 | 0.7648 | 0.7648 |
| 0.4763 | 2.67 | 25000 | 0.5736 | 0.7637 | 0.7637 |
| 0.4549 | 3.2 | 30000 | 0.6027 | 0.7593 | 0.7593 |
| 0.4231 | 3.73 | 35000 | 0.6017 | 0.7552 | 0.7552 |
| 0.3965 | 4.27 | 40000 | 0.6489 | 0.7551 | 0.7551 |
| 0.3744 | 4.8 | 45000 | 0.6426 | 0.7534 | 0.7534 |
框架版本
- Transformers 4.12.3
- Pytorch 1.9.1
- Datasets 1.15.1
- Tokenizers 0.10.3