XLM-RoBERTa大型模型用于QA（SwedishQA - ??）

该模型是在 SwedishQA 数据集上对 xlm-roberta-large 进行微调的版本。

超参数

训练过程中使用了以下超参数：

• 学习率：1e-05
• 训练批次大小：8
• 评估批次大小：8
• 种子：42
• 梯度累积步数：8
• 总训练批次大小：64
• 优化器：带有betas=(0.9,0.999)和epsilon=1e-08的Adam
• lr_scheduler类型：线性
• lr_scheduler_warmup_ratio：0.1
• 训练轮数：2.0
• 混合精度训练：本机AMP

性能

在官方的 eval script 数据集上对评估集进行评估结果。

评估集

"exact": 78.79554655870446,
"f1": 87.97339064752278,
"total": 5928

使用方法

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name_or_path = "m3hrdadfi/xlmr-large-qa-sv"
nlp = pipeline('question-answering', model=model_name_or_path, tokenizer=model_name_or_path)

context = """
Sveriges nationaldag och svenska flaggans dag firas den 6 juni 
varje år och är en helgdag i Sverige. 
Tidigare firades 6 juni enbart som "svenska flaggans dag" och det 
var först 1983 som dagen även fick status som nationaldag. 
"""

questions = [
    "Vilket datum är den svenska nationaldagen?",
    "Vad innebär helgdag i Sverige?",
    "Vilket år tillkom Sveriges nationaldag?"
]
kwargs = {}

for question in questions:
    r = nlp(question=question, context=context, **kwargs)
    answer = " ".join([token.strip() for token in r["answer"].strip().split() if token.strip()])
    print(f"{question} {answer}")

输出

Vilket datum är den svenska nationaldagen? 6 juni
Vad innebär helgdag i Sverige? svenska flaggans dag
Vilket år tillkom Sveriges nationaldag? 1983

作者

• Mehrdad Farahani

框架版本

• Transformers 4.12.0.dev0
• Pytorch 1.9.1+cu111
• Datasets 1.12.1
• Tokenizers 0.10.3