language: en

tags:

• 句子嵌入
• 句子相似度
• 双编码器

cambridgeltl/trans-encoder-bi-simcse-roberta-base

由 Liu et al. (2021) 提出的无监督句子编码器（双编码器）。该模型使用从STS2012-2016、STS-b和SICK-R中抽样的未标记的句子对进行训练，使用 princeton-nlp/unsup-simcse-roberta-base 作为基础模型。请将[CLS]（在pooler之前）用作输入的表示。

引用

@article{liu2021trans,
  title={Trans-Encoder: Unsupervised sentence-pair modelling through self-and mutual-distillations},
  author={Liu, Fangyu and Jiao, Yunlong and Massiah, Jordan and Yilmaz, Emine and Havrylov, Serhii},
  journal={arXiv preprint arXiv:2109.13059},
  year={2021}
}