bert-base-uncased用于QA

概述

语言模型：bert-base-uncased 语言：英文 下游任务：抽取式问答 训练数据：SQuAD 2.0 评估数据：SQuAD 2.0 基础设施：1x Tesla v100

超参数

batch_size = 32
n_epochs = 3
base_LM_model = "bert-base-uncased"
max_seq_len = 384
learning_rate = 3e-5
lr_schedule = LinearWarmup
warmup_proportion = 0.2
doc_stride=128
max_query_length=64

性能

"exact": 73.67977764676156
"f1": 77.87647139308865

作者

• Timo Möller：timo.moeller [at] deepset.ai
• Julian Risch：julian.risch [at] deepset.ai
• Malte Pietsch：malte.pietsch [at] deepset.ai
• Michel Bartels：michel.bartels [at] deepset.ai

关于我们

我们通过开源将NLP技术引入行业！我们专注于行业特定语言模型和大规模QA系统。

我们的一些工作：

• German BERT (aka "bert-base-german-cased")
• GermanQuAD and GermanDPR datasets and models (aka "gelectra-base-germanquad", "gbert-base-germandpr")
• FARM
• Haystack

联系我们： Twitter | LinkedIn | Discord | GitHub Discussions | Website

顺便说一下： we're hiring!