DistilBart-MNLI

distilbart-mnli是使用Huggingface提出的无教师蒸馏技术创建的bart-large-mnli的精简版本。在BART摘要中，我们只需复制来自bart-large-mnli并在相同数据上进行更多微调的交替层。这是一种非常简单且有效的技术，因为我们可以看到性能下降非常少。详细的性能权衡将发布在此处。

Fine-tuning

如果您想自行训练这些模型，请克隆 该 repo 并按照以下步骤操作

克隆并安装来自源代码的transformers

下载 MNLI 数据

创建学生模型

开始微调

您可以在此处找到这些训练模型的日志