DistilBart-MNLI

distilbart-mnli是使用 here 所提出的No Teacher Distillation技术创建的bart-large-mnli的蒸馏版本。

我们只是从bart-large-mnli中复制交替的层，并在相同的数据上进行更多的微调。

这是一种非常简单和有效的技术，因为我们可以看到性能下降非常小。

详细的性能权衡将在此 sheet 中发布。

微调

如果您想自己训练这些模型，请克隆 distillbart-mnli repo 并按照以下步骤操作

克隆并安装源代码变压器

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

下载MNLI数据

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

创建学生模型

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

开始微调

python run_glue.py args.json

您可以在此 wandb project 中找到这些训练模型的日志。