以下模型是通过将在 official Google BERT repository 找到的Tensorflow检查点转换得到的Pytorch预训练模型。这些BERT变种是在 Well-Read Students Learn Better: On the Importance of Pre-training Compact Models 论文中介绍的。这些模型是在MNLI上训练的。

如果您使用这个模型，请考虑引用该论文

@misc{bhargava2021generalization,
      title={Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics}, 
      author={Prajjwal Bhargava and Aleksandr Drozd and Anna Rogers},
      year={2021},
      eprint={2110.01518},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

原始实现和更多信息可以在 this Github repository 找到。

MNLI: 75.86%
MNLI-mm: 77.03%

这些模型训练了4个周期。

@prajjwal_1