瑞典BERT模型

瑞典国家图书馆/KBLab发布了三个基于BERT和ALBERT的预训练语言模型。这些模型是在各种来源（书籍、新闻、政府出版物、瑞典维基百科和互联网论坛）的约15-20GB文本（2亿个句子，30亿个标记）上进行训练的，旨在为瑞典文本提供一个具有代表性的BERT模型。更完整的描述将在以后发布。

目前提供以下三个模型：

• bert-base-swedish-cased (v1) - 使用与Google首次发布的相同超参数训练的BERT。
• bert-base-swedish-cased-ner (实验性) - 使用SUC 3.0进行NER微调的BERT。
• albert-base-swedish-cased-alpha (alpha) - 针对瑞典的ALBERT的首次尝试。

所有模型都使用大小写和整词屏蔽进行训练。

文件

TensorFlow模型权重将很快发布。

使用要求/安装指南

以下示例要求使用Huggingface Transformers 2.4.1和Pytorch 1.3.1或更高版本。对于Transformers