Santacoder 在 Shadertoys-fine 上经过1000步的微调，批量大小为2，完整序列长度为2048。在此找到适用的微调脚本进行了适应性微调。

尝试在 ShaderCoder 演示空间中使用模型

微调参数

python3 train.py --model_path "bigcode/santacoder" \
--dataset_name "Vipitis/Shadertoys-fine" \
--data_column "code" \
--split "train" \
--seq_length 2048 \
--max_steps 1000 \
--batch_size 2 \
--gradient_accumulation_steps 4 \
--learning_rate 5e-5 \
--num_warmup_steps 100 \
--eval_freq 100 \
--save_freq 100 \
--log_freq 1 \
--output_dir "checkpoint_dir" \
--no_fp16

此模型的主要目的是探索微调模型是否提高了在 ShaderEval 上的性能，该模型在300个样本上为0.567，在所有样本上为0.59749。

免责声明

尽管训练/测试拆分被保留，但存在很多数据污染。无法相信模型结果是基于此简单基准测试的。更好的基准测试任务将会被开发并用于这些模型的测试。

许可证从模型中继承，但训练数据具有未定义的许可证。详细信息请参阅 Shadertoys 。