模型:

allenai/specter

英文

SPECTER

SPECTER是一个预训练的语言模型,用于生成文档级别的嵌入。它是基于引文图这个强大的文档级别相关性信号进行预训练的。与现有的预训练语言模型不同,SPECTER可以轻松应用于下游应用,而无需进行任务特定的微调。

如果您是因为想要嵌入论文才来到这里的,现在已经有新的替代方案 SPECTER 2.0 。请使用该替代方案。

论文: SPECTER: Document-level Representation Learning using Citation-informed Transformers

原始仓库: Github

评估基准: SciDocs

作者: Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, Daniel S. Weld