以下模型是从 official Google BERT repository 中转换得到的 Pytorch 预训练模型，该模型源自于 Tensorflow 的检查点。这些 BERT 变种在论文 Well-Read Students Learn Better: On the Importance of Pre-training Compact Models 中被引入，并在 MNLI 上进行了训练。

如果您使用了这个模型，请考虑引用该论文。

@misc{bhargava2021generalization,
      title={Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics}, 
      author={Prajjwal Bhargava and Aleksandr Drozd and Anna Rogers},
      year={2021},
      eprint={2110.01518},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

可以在 this Github repository 中找到原始实现和更多信息。

MNLI: 68.04%
MNLI-mm: 69.17%

这些模型经过了 4 个轮次的训练。

@prajjwal_1