模型:

TurkuNLP/bert-base-finnish-cased-squad2

英文

bert-base-finnish-cased-v1 for QA

这是使用 Finnish SQuAD2.0 数据集进行微调的 bert-base-finnish-cased-v1 模型。它在问答对任务中,包括不可回答的问题,进行了训练。

概述

语言模型:bert-base-finnish-v1

语言:芬兰语

下游任务:提取式问答

训练数据:squad_v2_fi

评估数据:squad_v2_fi

超参数

batch_size = 12
n_epochs = 2
base_LM_model = "bert-base-finnish-cased-v1"
max_seq_len = 384
learning_rate = 3e-5
doc_stride=128

性能

"exact": 68.2424,
"f1": 73.6607,
"HasAns_exact": 58.3290,
"HasAns_f1": 69.3629,
"HasAns_total": 5817,
"NoAns_exact": 77.8073,
"NoAns_f1": 77.8073,
"NoAns_total": 6029,
"samples": 12138,
"total": 11846

与其他芬兰模型的比较

model F1
TurkuNLP/bert-base-finnish-cased-squad2 73.66
ilmariky/bert-base-finnish-cased-squad2-fi 61.87