SpanBERT（spanbert-base-cased）在SQuAD v1.1上进行了微调

由 Facebook Research 创建，并针对Q&A下游任务在 SQuAD 1.1 上进行了微调。

SpanBERT的详细信息

这是一种预训练方法，旨在更好地表示和预测文本片段。

SpanBERT: Improving Pre-training by Representing and Predicting Spans

下游任务（Q&A）的详细信息 - 数据集

SQuAD 1.1 包含500多篇文章上的100,000个问题-答案对。

模型训练

该模型在Tesla P100 GPU和25GB RAM上进行了训练。有关微调的脚本可以在 here 中找到

结果：

原始指标：

{
  "exact": 85.49668874172185,
  "f1": 91.9845699540379,
  "total": 10570,
  "HasAns_exact": 85.49668874172185,
  "HasAns_f1": 91.9845699540379,
  "HasAns_total": 10570,
  "best_exact": 85.49668874172185,
  "best_exact_thresh": 0.0,
  "best_f1": 91.9845699540379,
  "best_f1_thresh": 0.0
}

比较：

模型运行

使用pipeline可以快速使用：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/spanbert-finetuned-squadv1",
    tokenizer="mrm8488/spanbert-finetuned-squadv1"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

由 Manuel Romero/@mrm8488 | LinkedIn 创建

在西班牙用 ♥ 制作