BERTje: 一个荷兰语的BERT模型

Wietse de Vries • Andreas van Cranenburgh • Arianna Bisazza • Tommaso Caselli • Gertjan van Noord • Malvina Nissim

模型描述

BERTje是由格罗宁根大学开发的荷兰语预训练BERT模型。

如需详细信息，请查看我们关于 arXiv 的论文，在 Github 上的代码以及相关工作。

论文和Github页面提到了可用的微调模型 here 。

如何使用

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("GroNLP/bert-base-dutch-cased")
model = AutoModel.from_pretrained("GroNLP/bert-base-dutch-cased")  # PyTorch
model = TFAutoModel.from_pretrained("GroNLP/bert-base-dutch-cased")  # Tensorflow

警告：BERTje的词汇量已于2021年更改。如果您使用旧的微调模型并遇到使用 GroNLP/bert-base-dutch-cased 分词器出现问题，可以使用以下分词器：

tokenizer = AutoTokenizer.from_pretrained("GroNLP/bert-base-dutch-cased", revision="v1")  # v1 is the old vocabulary

基准测试

arXiv论文中列出了基准测试结果。以下是在撰写论文后对BERTje、多语言BERT、BERT-NL和RobBERT进行的一些比较。与其他一些比较不同，在这些基准测试中，每个预训练模型的微调程序是相同的。通过优化微调程序，您可以为各个模型实现更高的分数。

当完成更多实验结果时，本页面将添加更多的实验结果。关于如何进行微调这些模型以及可下载的微调检查点的技术细节稍后将发布。

所有测试的模型都是基础型（12层），采用大小写分词。

下表中的表头链接到原始数据来源。分数链接到对应微调模型的页面。当更多简单的微调模型可用时，这些表将进行更新。

命名实体识别

词性标注

BibTeX条目和引用信息

@misc{devries2019bertje,
\ttitle = {{BERTje}: {A} {Dutch} {BERT} {Model}},
\tshorttitle = {{BERTje}},
\tauthor = {de Vries, Wietse  and  van Cranenburgh, Andreas  and  Bisazza, Arianna  and  Caselli, Tommaso  and  Noord, Gertjan van  and  Nissim, Malvina},
\tyear = {2019},
\tmonth = dec,
\thowpublished = {arXiv:1912.09582},
\turl = {http://arxiv.org/abs/1912.09582},
}