模型:
google/bert_uncased_L-8_H-512_A-8
这是一组包含24个BERT模型的集合,仅涵盖英文语言(不区分大小写),采用WordPiece掩码训练方法。
我们已经证明了标准BERT方案(包括模型架构和训练目标)在多种模型大小上都很有效,不仅限于BERT-Base和BERT-Large。较小的BERT模型适用于计算资源受限的环境。它们可以像原始BERT模型一样进行微调。然而,它们在知识蒸馏的环境下表现最佳,其中微调标签由更大且更准确的教师模型产生。
我们的目标是为计算资源有限的研究机构提供支持,并鼓励社区寻找创新方向,而不只是增加模型容量。
您可以从以下链接下载24个BERT迷你模型。
H=128 | H=256 | H=512 | H=768 | |
---|---|---|---|---|
L=2 | 1233321 | 1234321 | 1235321 | 1236321 |
L=4 | 1237321 | 1238321 | 1239321 | 12310321 |
L=6 | 12311321 | 12312321 | 12313321 | 12314321 |
L=8 | 12315321 | 12316321 | 12317321 | 12318321 |
L=10 | 12319321 | 12320321 | 12321321 | 12322321 |
L=12 | 12323321 | 12324321 | 12325321 | 12326321 |
请注意,此版本中包含的BERT-Base模型仅作为完整性的补充;它是在与原始模型相同的条件下重新训练的。
以下是在测试集上的相应GLUE分数:
Model | Score | CoLA | SST-2 | MRPC | STS-B | QQP | MNLI-m | MNLI-mm | QNLI(v2) | RTE | WNLI | AX |
---|---|---|---|---|---|---|---|---|---|---|---|---|
BERT-Tiny | 64.2 | 0.0 | 83.2 | 81.1/71.1 | 74.3/73.6 | 62.2/83.4 | 70.2 | 70.3 | 81.5 | 57.2 | 62.3 | 21.0 |
BERT-Mini | 65.8 | 0.0 | 85.9 | 81.1/71.8 | 75.4/73.3 | 66.4/86.2 | 74.8 | 74.3 | 84.1 | 57.9 | 62.3 | 26.1 |
BERT-Small | 71.2 | 27.8 | 89.7 | 83.4/76.2 | 78.8/77.0 | 68.1/87.0 | 77.6 | 77.0 | 86.4 | 61.8 | 62.3 | 28.6 |
BERT-Medium | 73.5 | 38.0 | 89.6 | 86.6/81.6 | 80.4/78.4 | 69.6/87.9 | 80.0 | 79.1 | 87.7 | 62.2 | 62.3 | 30.5 |
对于每个任务,我们从以下列表中选择了最佳的微调超参数,并进行了4个周期的训练:
如果您使用这些模型,请引用以下论文:
@article{turc2019, title={Well-Read Students Learn Better: On the Importance of Pre-training Compact Models}, author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina}, journal={arXiv preprint arXiv:1908.08962v2 }, year={2019} }