历史语言模型（HLMs）

语言

我们的历史语言模型库包含以下语言的支持 - 包括训练数据来源：

模型

目前，模型库中提供以下模型：

我们还发布了多语言模型的较小模型：

注意：我们先前发布了使用更多噪声数据训练的历史德语和法语的语言模型-有关详细信息，请参见 this repo 。

语料库统计信息

德国 Europeana 语料库

我们提供使用不同的OCR置信度阈值的统计信息，以缩小语料库的大小并使用较少噪声的数据：

我们使用OCR置信度为0.6的最终语料库（28GB）。下图显示了每年的标记分布情况：

法国 Europeana 语料库

与德语类似，我们使用不同的OCR置信度阈值：

我们使用OCR置信度为0.7的最终语料库（27GB）。下图显示了每年的标记分布情况：

英国图书馆语料库

元数据来自 here 。经过年份筛选的统计数据：

我们使用经过年份筛选的变体。下图显示了每年的标记分布情况：

芬兰 Europeana 语料库

下图显示了每年的标记分布情况：

瑞典 Europeana 语料库

下图显示了每年的标记分布情况：

所有语料库

下图显示了完整训练语料库的每年标记分布情况：

多语言词汇生成

对于第一次尝试，我们使用每个预训练语料库的前10GB。我们将芬兰语和瑞典语提升到约10GB。以下是用于生成32k和64k子词词汇的确切大小的表格：

然后我们计算以下NER语料库中子词生育率和[UNK]的比例：

32k词汇表各语言的子词生育率和未知比例的详细信息如下：

64k词汇表各语言的子词生育率和未知比例的详细信息如下：

最终预训练语料库

我们将瑞典语和芬兰语提升到约27GB。所有预训练语料库的最终统计信息如下：

总大小为130GB。

较小的多语言模型

受 "Well-Read Students Learn Better: On the Importance of Pre-training Compact Models" 论文的启发，我们训练了较小的模型（不同的层数和隐藏大小），并报告了参数数量和预训练成本：

然后我们对多语言 NewsEye 数据集进行下游评估：

预训练

多语言模型 - hmBERT大型

我们使用32k词汇表使用官方BERT实现在v3-32 TPU上进行训练，使用以下参数：

python3 run_pretraining.py --input_file gs://histolectra/historic-multilingual-tfrecords/*.tfrecord \
--output_dir gs://histolectra/bert-base-historic-multilingual-cased \
--bert_config_file ./config.json \
--max_seq_length=512 \
--max_predictions_per_seq=75 \
--do_train=True \
--train_batch_size=128 \
--num_train_steps=3000000 \
--learning_rate=1e-4 \
--save_checkpoints_steps=100000 \
--keep_checkpoint_max=20 \
--use_tpu=True \
--tpu_name=electra-2 \
--num_tpu_cores=32

下图显示了预训练损失曲线：

较小的多语言模型

我们使用与基础模型训练相同的参数。

hmBERT迷你

下图显示了迷你模型的预训练损失曲线：

hmBERT小型

下图显示了小型模型的预训练损失曲线：

hmBERT中型

下图显示了中型模型的预训练损失曲线：

hmBERT中等

下图显示了中等模型的预训练损失曲线：

英语模型

英语BERT模型-使用英国图书馆语料库的文本-在v3-8 TPU上使用Hugging Face JAX/FLAX实现进行了10个epochs（约1M步）的训练，使用以下命令：

python3 run_mlm_flax.py --model_type bert \
--config_name /mnt/datasets/bert-base-historic-english-cased/ \
--tokenizer_name /mnt/datasets/bert-base-historic-english-cased/ \
--train_file /mnt/datasets/bl-corpus/bl_1800-1900_extracted.txt \
--validation_file /mnt/datasets/bl-corpus/english_validation.txt \
--max_seq_length 512 \
--per_device_train_batch_size 16 \
--learning_rate 1e-4 \
--num_train_epochs 10 \
--preprocessing_num_workers 96 \
--output_dir /mnt/datasets/bert-base-historic-english-cased-512-noadafactor-10e \
--save_steps 2500 \
--eval_steps 2500 \
--warmup_steps 10000 \
--line_by_line \
--pad_to_max_length

下图显示了预训练损失曲线：

芬兰模型

BERT模型-使用芬兰 Europeana 中的文本-在v3-8 TPU上使用Hugging Face JAX/FLAX实现进行了40个epochs（约1M步）的训练，使用以下命令：

python3 run_mlm_flax.py --model_type bert \
--config_name /mnt/datasets/bert-base-finnish-europeana-cased/ \
--tokenizer_name /mnt/datasets/bert-base-finnish-europeana-cased/ \
--train_file /mnt/datasets/hlms/extracted_content_Finnish_0.6.txt \
--validation_file /mnt/datasets/hlms/finnish_validation.txt \
--max_seq_length 512 \
--per_device_train_batch_size 16 \
--learning_rate 1e-4 \
--num_train_epochs 40 \
--preprocessing_num_workers 96 \
--output_dir /mnt/datasets/bert-base-finnish-europeana-cased-512-dupe1-noadafactor-40e \
--save_steps 2500 \
--eval_steps 2500 \
--warmup_steps 10000 \
--line_by_line \
--pad_to_max_length

下图显示了预训练损失曲线：

瑞典模型

BERT模型-使用瑞典 Europeana 中的文本-在v3-8 TPU上使用Hugging Face JAX/FLAX实现进行了40个epochs（约660K步）的训练，使用以下命令：

python3 run_mlm_flax.py --model_type bert \
--config_name /mnt/datasets/bert-base-swedish-europeana-cased/ \
--tokenizer_name /mnt/datasets/bert-base-swedish-europeana-cased/ \
--train_file /mnt/datasets/hlms/extracted_content_Swedish_0.6.txt \
--validation_file /mnt/datasets/hlms/swedish_validation.txt \
--max_seq_length 512 \
--per_device_train_batch_size 16 \
--learning_rate 1e-4 \
--num_train_epochs 40 \
--preprocessing_num_workers 96 \
--output_dir /mnt/datasets/bert-base-swedish-europeana-cased-512-dupe1-noadafactor-40e \
--save_steps 2500 \
--eval_steps 2500 \
--warmup_steps 10000 \
--line_by_line \
--pad_to_max_length

下图显示了预训练损失曲线：

致谢

通过Google的TPU Research Cloud（TRC）计划（前身为TensorFlow Research Cloud（TFRC））提供了云TPU的支持。非常感谢提供TRC的访问权限❤️

感谢 Hugging Face 团队的慷慨支持，可以从他们的S3存储中下载带大小写的模型?