英文

google-vit-base-patch16-224-cartoon-emotion-detection

这个模型是 google/vit-base-patch16-224 在imagefolder数据集上进行微调的版本。它在评估集上取得了以下结果:

  • Loss: 0.3706
  • Accuracy: 0.8807
  • Precision: 0.8769
  • Recall: 0.8807
  • F1: 0.8783

模型描述

还需要更多信息

预期用途和限制

还需要更多信息

训练和评估数据

还需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数:

  • learning_rate: 0.00012
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 42
  • gradient_accumulation_steps: 4
  • total_train_batch_size: 256
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.1
  • num_epochs: 10

训练结果

Training Loss Epoch Step Validation Loss Accuracy Precision Recall F1
No log 0.97 8 0.9902 0.5596 0.5506 0.5596 0.5360
1.242 1.97 16 0.5157 0.8165 0.8195 0.8165 0.8132
0.4438 2.97 24 0.3871 0.8440 0.8516 0.8440 0.8446
0.1768 3.97 32 0.3531 0.8624 0.8653 0.8624 0.8585
0.0661 4.97 40 0.3780 0.8716 0.8693 0.8716 0.8674
0.0661 5.97 48 0.3747 0.8624 0.8649 0.8624 0.8632
0.0375 6.97 56 0.3760 0.8991 0.8961 0.8991 0.8971
0.0362 7.97 64 0.4092 0.8716 0.8684 0.8716 0.8681
0.0322 8.97 72 0.3499 0.8899 0.8880 0.8899 0.8888
0.029 9.97 80 0.3706 0.8807 0.8769 0.8807 0.8783

框架版本

  • Transformers 4.25.1
  • Pytorch 1.13.1+cu117
  • Datasets 2.8.0
  • Tokenizers 0.11.0