LinkBERT-large

LinkBERT-large模型在英文维基百科文章上进行了预训练，并包含了超链接信息。它在论文 LinkBERT: Pretraining Language Models with Document Links (ACL 2022) 中进行了介绍。代码和数据可以在 this repository 中获取。

模型描述

LinkBERT是一个在大型文档语料库上进行预训练的转换器编码器（类似于BERT）模型。它是BERT的改进版本，可以捕捉文档链接（如超链接和引用链接），以便扩展跨多个文档的知识。具体而言，它通过将链接的文档与单个文档一起输入到相同的语言模型上进行预训练。

LinkBERT可用作BERT的即插即用替代品。它在一般的语言理解任务（如文本分类）上表现出更好的性能，并且在需要知识的任务（如问答）和跨文档任务（如阅读理解、文档检索）中尤为有效。

用途和限制

该模型可以通过在下游任务上进行微调来使用，如问答、序列分类和标记分类。您还可以使用原始模型进行特征提取（即获取输入文本的嵌入）。

如何使用

使用PyTorch获取给定文本的特征的一种方法是：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/LinkBERT-large')
model = AutoModel.from_pretrained('michiyasunaga/LinkBERT-large')
inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

对于微调，您可以使用 this repository 或遵循任何其他BERT微调代码库的指导。

评估结果

在下游任务上进行微调时，LinkBERT取得了以下结果。

通用基准（ MRQA 和 GLUE ）：

引用

如果您在项目中使用了LinkBERT，请引用以下内容：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}