以下模型是从 official Google BERT repository 中转换得到的 PyTorch 预训练模型，这些 BERT 变体是在 Well-Read Students Learn Better: On the Importance of Pre-training Compact Models 论文中介绍的。这些模型是在 MNLI 上训练的。

如果您使用了该模型，请考虑引用该论文

@misc{bhargava2021generalization,
      title={Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics}, 
      author={Prajjwal Bhargava and Aleksandr Drozd and Anna Rogers},
      year={2021},
      eprint={2110.01518},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

原始实现和更多信息可在 this Github repository 中找到。

MNLI: 60%
MNLI-mm: 61.61%

这些模型经过了 4 个时期的训练。

@prajjwal_1