PubMedBERT（摘要+全文）

预训练大型神经语言模型（如BERT）在许多自然语言处理（NLP）任务上取得了令人瞩目的成果。然而，大多数预训练工作都侧重于通用领域语料库，如新闻稿和网络。一个普遍的假设是，即使是特定领域的预训练也可以从通用领域语言模型开始受益。 Recent work 表明，在具有大量无标签文本的领域（如生物医学），从头开始预训练语言模型比持续预训练通用领域语言模型产生了可观的收益。

PubMedBERT 是使用来自 PubMed 的摘要和来自 PubMedCentral 的全文进行从头预训练的模型。该模型在许多生物医学NLP任务上达到了最先进的性能，并目前在 Biomedical Language Understanding and Reasoning Benchmark 上保持着最高得分。

引用

如果您在研究中发现 PubMedBERT 对您有用，请引用以下论文：

@misc{pubmedbert,
  author = {Yu Gu and Robert Tinn and Hao Cheng and Michael Lucas and Naoto Usuyama and Xiaodong Liu and Tristan Naumann and Jianfeng Gao and Hoifung Poon},
  title = {Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing},
  year = {2020},
  eprint = {arXiv:2007.15779},
}