lmqg/mt5-small-dequad-ae模型卡片

该模型是 google/mt5-small 在 lmqg 上针对 lmqg/qg_dequad （数据集名称：default）进行答案提取的微调版本。

概述

• 语言模型： google/mt5-small
• 语言：德语
• 训练数据： lmqg/qg_dequad （默认）
• 在线演示： https://autoqg.net/
• 代码库： https://github.com/asahi417/lm-question-generation
• 论文： https://arxiv.org/abs/2210.03992

使用方法

• 使用 lmqg

from lmqg import TransformersQG

# initialize model
model = TransformersQG(language="de", model="lmqg/mt5-small-dequad-ae")

# model prediction
answers = model.generate_a("das erste weltweit errichtete Hermann Brehmer 1855 im niederschlesischen ''Görbersdorf'' (heute Sokołowsko, Polen).")

• 使用transformers

from transformers import pipeline

pipe = pipeline("text2text-generation", "lmqg/mt5-small-dequad-ae")
output = pipe("Sommerzeit <hl> Frühling <hl>: Umstellung von Normalzeit auf Sommerzeit – die Uhr wird um eine Stunde ''vor''gestellt. Herbst: Umstellung von Sommerzeit auf Normalzeit – die Uhr wird um eine Stunde ''zurück''gestellt. Als Sommerzeit wird die gegenüber der Zonenzeit meist um eine Stunde vorgestellte Uhrzeit bezeichnet, die während eines bestimmten Zeitraums im Sommerhalbjahr (und oft auch etwas darüber hinaus) als gesetzliche Zeit dient. Eine solche Regelung wird fast nur in Ländern der gemäßigten Zonen angewandt. Die mitteleuropäische Sommerzeit beginnt am letzten Sonntag im März um 2:00 Uhr MEZ, indem die Stundenzählung um eine Stunde von 2:00 Uhr auf 3:00 Uhr vorgestellt wird. Sie endet jeweils am letzten Sonntag im Oktober um 3:00 Uhr MESZ, indem die Stundenzählung um eine Stunde von 3:00 Uhr auf 2:00 Uhr zurückgestellt wird.")

评估

• 指标（答案提取）： raw metric file

训练超参数

在微调过程中使用了以下超参数:

• 数据集路径: lmqg/qg_dequad
• 数据集名称: 默认(default)
• 输入类型: ['paragraph_sentence']
• 输出类型: ['answer']
• 前缀类型: 无
• 模型: google/mt5-small
• 最大长度: 512
• 最大输出长度: 32
• 训练轮数: 22
• 批次大小: 32
• 学习率: 0.001
• 混合精度训练: False
• 随机种子: 1
• 梯度累积步数: 2
• 标签平滑: 0.15

完整配置请参阅 fine-tuning config file 。

引用

@inproceedings{ushio-etal-2022-generative,
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
    author = "Ushio, Asahi  and
        Alva-Manchego, Fernando  and
        Camacho-Collados, Jose",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, U.A.E.",
    publisher = "Association for Computational Linguistics",
}