COCO-LM: 对语言模型预训练的文本序列进行修正与对比

此模型卡包含了在 this paper 中提出的COCO-LM模型（large++版本）。官方的GitHub存储库可以在 here 中找到。

引用

如果您发现本模型卡在您的研究中有用，请引用以下论文：

@inproceedings{meng2021coco,
  title={{COCO-LM}: Correcting and contrasting text sequences for language model pretraining},
  author={Meng, Yu and Xiong, Chenyan and Bajaj, Payal and Tiwary, Saurabh and Bennett, Paul and Han, Jiawei and Song, Xia},
  booktitle={NeurIPS},
  year={2021}
}