模型:

Qiliang/bart-large-cnn-samsum-ElectrifAi_v14

英文

bart-large-cnn-samsum-ElectrifAi_v14

此模型是对 philschmid/bart-large-cnn-samsum 在未知数据集上进行微调版本。它在评估集上达到以下结果:

  • 损失: 2.1649
  • Rouge1: 52.2959
  • Rouge2: 19.0107
  • Rougel: 29.5199
  • Rougelsum: 47.2462
  • 生成长度: 115.75

模型描述

需要更多的信息

预期用途和限制

需要更多的信息

训练和评估数据

需要更多的信息

训练过程

训练超参数

训练过程中使用了以下超参数:

  • 学习率: 2e-05
  • 训练批大小: 4
  • 评估批大小: 4
  • 种子: 42
  • 优化器: Adam,betas=(0.9,0.999),epsilon=1e-08
  • lr_scheduler类型: 线性
  • 训练轮数: 3
  • 混合精度训练: 本地加速数学处理(AMP)

训练结果

Training Loss Epoch Step Validation Loss Rouge1 Rouge2 Rougel Rougelsum Gen Len
No log 1.0 9 2.3430 44.7631 15.9376 23.8711 40.091 142.0
No log 2.0 18 2.1774 47.2025 17.7636 27.235 40.251 102.5
No log 3.0 27 2.1649 52.2959 19.0107 29.5199 47.2462 115.75

框架版本

  • Transformers 4.28.1
  • Pytorch 2.0.0+cu118
  • Datasets 2.11.0
  • Tokenizers 0.13.3