lmqg/mt5-small-dequad-qg-ae模型卡片

此模型是 google/mt5-small 的精细调整版本，通过 lmqg 在 lmqg/qg_dequad （数据集名称：default）上同时进行问题生成和答案提取。

概述

• 语言模型： google/mt5-small
• 语言：de
• 训练数据： lmqg/qg_dequad （默认）
• 在线演示： https://autoqg.net/
• 存储库： https://github.com/asahi417/lm-question-generation
• 论文： https://arxiv.org/abs/2210.03992

用法

• 使用 lmqg

from lmqg import TransformersQG

# initialize model
model = TransformersQG(language="de", model="lmqg/mt5-small-dequad-qg-ae")

# model prediction
question_answer_pairs = model.generate_qa("das erste weltweit errichtete Hermann Brehmer 1855 im niederschlesischen ''Görbersdorf'' (heute Sokołowsko, Polen).")

• 使用transformers

from transformers import pipeline

pipe = pipeline("text2text-generation", "lmqg/mt5-small-dequad-qg-ae")

# answer extraction
answer = pipe("generate question: Empfangs- und Sendeantenne sollen in ihrer Polarisation übereinstimmen, andernfalls <hl> wird die Signalübertragung stark gedämpft. <hl>")

# question generation
question = pipe("extract answers: Sommerzeit <hl> Frühling <hl>: Umstellung von Normalzeit auf Sommerzeit – die Uhr wird um eine Stunde ''vor''gestellt. Herbst: Umstellung von Sommerzeit auf Normalzeit – die Uhr wird um eine Stunde ''zurück''gestellt. Als Sommerzeit wird die gegenüber der Zonenzeit meist um eine Stunde vorgestellte Uhrzeit bezeichnet, die während eines bestimmten Zeitraums im Sommerhalbjahr (und oft auch etwas darüber hinaus) als gesetzliche Zeit dient. Eine solche Regelung wird fast nur in Ländern der gemäßigten Zonen angewandt. Die mitteleuropäische Sommerzeit beginnt am letzten Sonntag im März um 2:00 Uhr MEZ, indem die Stundenzählung um eine Stunde von 2:00 Uhr auf 3:00 Uhr vorgestellt wird. Sie endet jeweils am letzten Sonntag im Oktober um 3:00 Uhr MESZ, indem die Stundenzählung um eine Stunde von 3:00 Uhr auf 2:00 Uhr zurückgestellt wird.")

评估

• 度量标准（问题生成）： raw metric file

• 度量标准（问题和答案生成）： raw metric file

• 度量标准（答案提取）： raw metric file

训练超参数

在精细调整期间使用了以下超参数：

• 数据集路径：lmqg/qg_dequad
• 数据集名称：default
• 输入类型：['paragraph_answer'，'paragraph_sentence']
• 输出类型：['question'，'answer']
• 前缀类型：['qg'，'ae']
• 模型：google/mt5-small
• 最大长度：512
• 最大输出长度：32
• 时代：15
• 批次：16
• lr：0.001
• fp16：False
• 随机种子：1
• 梯度累积步数：4
• 标签平滑：0.15

完整的配置可在 fine-tuning config file 找到。

引用

@inproceedings{ushio-etal-2022-generative,
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
    author = "Ushio, Asahi  and
        Alva-Manchego, Fernando  and
        Camacho-Collados, Jose",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, U.A.E.",
    publisher = "Association for Computational Linguistics",
}