您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
philschmid/distilbert-base-multilingual-cased-sentiment-2
英文distilbert-base-multilingual-cased-sentiment-2
此模型是基于amazon_reviews_multi数据集上的 distilbert-base-multilingual-cased 进行微调的版本。它在评估集上实现了以下结果:
- Loss: 0.6067
- 准确度: 0.7476
- F1值: 0.7476
模型描述
需要更多信息
意图和限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率: 0.00024
- 训练批大小: 16
- 评估批大小: 16
- 种子: 33
- 分布式类型: sagemaker_data_parallel
- 设备数: 8
- 总训练批大小: 128
- 总评估批大小: 128
- 优化器: Adam，betas=(0.9,0.999)，epsilon=1e-08
- 学习率调度器类型: linear
- 学习率调度器预热步数: 500
- 训练轮数: 3
- 混合精度训练: Native AMP
训练结果
| Training Loss | Epoch | Step | Validation Loss | Accuracy | F1 |
|---|---|---|---|---|---|
| 0.6885 | 0.53 | 5000 | 0.6532 | 0.7217 | 0.7217 |
| 0.6411 | 1.07 | 10000 | 0.6348 | 0.7319 | 0.7319 |
| 0.6057 | 1.6 | 15000 | 0.6186 | 0.7387 | 0.7387 |
| 0.5844 | 2.13 | 20000 | 0.6236 | 0.7449 | 0.7449 |
| 0.549 | 2.67 | 25000 | 0.6067 | 0.7476 | 0.7476 |
框架版本
- Transformers 4.12.3
- Pytorch 1.9.1
- Datasets 1.15.1
- Tokenizers 0.10.3