模型:
sentence-transformers/gtr-t5-base
这是一个 sentence-transformers 模型: 它将句子和段落映射到一个768维的稠密向量空间。该模型专门针对语义搜索任务进行训练。
这个模型是从Tensorflow模型 gtr-base-1 转换为PyTorch。使用该模型时,请参考发布的论文: Large Dual Encoders Are Generalizable Retrievers 。tfhub模型和这个PyTorch模型可能产生略有不同的嵌入,但在相同的基准测试上运行时,它们产生相同的结果。
该模型仅使用了T5-base模型的编码器。权重以FP16格式存储。
在安装了 sentence-transformers 之后,使用该模型变得很简单:
pip install -U sentence-transformers
然后你可以像这样使用该模型:
from sentence_transformers import SentenceTransformer sentences = ["This is an example sentence", "Each sentence is converted"] model = SentenceTransformer('sentence-transformers/gtr-t5-base') embeddings = model.encode(sentences) print(embeddings)
该模型要求使用sentence-transformers版本2.2.0或更新版本。
要自动评估该模型,请参考句子嵌入基准: https://seb.sbert.net
如果您觉得该模型有帮助,请引用相应的论文: Large Dual Encoders Are Generalizable Retrievers