? 注意:该仓库正在建设中,当前上传的版本是在KoAlpaca v1.0数据集上微调的KoRWKV模型的20%训练检查点(大约310亿个令牌)?
beomi/KoAlpaca-KoRWKV-1.5B(v1.0)
该模型是在KoAlpaca v1.0数据集上用
KoRWKV-1.5B
模型进行微调的版本
数据集可在
KoAlpaca Github Repository
处找到
训练过程
训练设备
训练超参数
训练过程中使用了以下超参数:
- learning_rate: 5e-05
- train_batch_size: 8
- seed: 42
- optimizer: Adafactor
- lr_scheduler_type: linear
- num_epochs: 2.0
- mixed_precision_training: Native AMP fp16
框架版本
- Transformers 4.30.0.dev0
- Pytorch 2.0.0+cu117
- Datasets 2.10.1
- Tokenizers 0.13.2