PubMedBERT（仅摘要）

预训练大型神经语言模型，如BERT，在许多自然语言处理（NLP）任务上取得了令人瞩目的成就。然而，大多数预训练工作都集中在一般领域语料库上，例如新闻和网络。普遍的假设是，即使是特定领域的预训练也可以从一般领域语言模型出发受益。

Recent work 表明，在具有丰富未标记文本的领域，例如生物医学领域，从头开始预训练语言模型比继续预训练一般领域语言模型能够带来显著的收益。

此PubMedBERT是使用 PubMed 中的摘要从头预训练的。正如在 Biomedical Language Understanding and Reasoning Benchmark 中所示，该模型在几个生物医学NLP任务上达到了最先进的性能。

引用

如果您在研究中发现PubMedBERT有用，请引用以下论文：

@misc{pubmedbert,
  author = {Yu Gu and Robert Tinn and Hao Cheng and Michael Lucas and Naoto Usuyama and Xiaodong Liu and Tristan Naumann and Jianfeng Gao and Hoifung Poon},
  title = {Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing},
  year = {2020},
  eprint = {arXiv:2007.15779},
}