BERT-Tiny ( 5 )在SQuAD v2上进行微调

由 Google Research 创建并在 SQuAD 2.0 上进行Q&A下游任务微调。

模型大小（训练后）：24.33 MB

BERT-Tiny及其“家族”的详细信息（来自其文档）

于2020年3月11日发布

该模型是24个更小的BERT模型中的一部分（仅针对英文，不区分大小写，使用WordPiece masking进行训练），参见 Well-Read Students Learn Better: On the Importance of Pre-training Compact Models 。

较小的BERT模型适用于计算资源受限的环境。它们可以像原始BERT模型一样进行微调。然而，在知识蒸馏的背景下，它们最有效，其中微调标签由更大更准确的教师生成。

下游任务（Q&A）-数据集的详细信息

SQuAD2.0 将SQuAD1.1中的10万个问题与由众包工人对抗性地撰写的超过5万个无法回答的问题相结合，使其看起来类似于可回答的问题。要在SQuAD2.0上表现良好，系统不仅必须在可能时回答问题，还必须确定段落不支持任何答案并放弃回答。

模型训练

该模型在Tesla P100 GPU和25GB RAM上进行了训练。微调脚本可在 here 找到

结果：

模型实际应用

使用本API可快速进行处理：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-tiny-5-finetuned-squadv2",
    tokenizer="mrm8488/bert-tiny-5-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

由 Manuel Romero/@mrm8488 创建 | LinkedIn

♥在西班牙制作