模型:

beomi/KoAlpaca-KoRWKV-1.5B

英文

? 注意:该仓库正在建设中,当前上传的版本是在KoAlpaca v1.0数据集上微调的KoRWKV模型的20%训练检查点(大约310亿个令牌)?

beomi/KoAlpaca-KoRWKV-1.5B(v1.0)

该模型是在KoAlpaca v1.0数据集上用 KoRWKV-1.5B 模型进行微调的版本

数据集可在 KoAlpaca Github Repository 处找到

训练过程

训练设备

  • A100 80G x2
  • 大约2小时

训练超参数

训练过程中使用了以下超参数:

  • learning_rate: 5e-05
  • train_batch_size: 8
  • seed: 42
  • optimizer: Adafactor
  • lr_scheduler_type: linear
  • num_epochs: 2.0
  • mixed_precision_training: Native AMP fp16

框架版本

  • Transformers 4.30.0.dev0
  • Pytorch 2.0.0+cu117
  • Datasets 2.10.1
  • Tokenizers 0.13.2