lmqg/mt5-small-frquad-ae模型卡片

该模型是对 google/mt5-small 进行微调的版本，用于在 lmqg/qg_frquad 上进行答案抽取（数据集名称：default），通过 lmqg 进行训练。

概述

• 语言模型： google/mt5-small
• 语言：法语
• 训练数据： lmqg/qg_frquad （默认）
• 在线演示： https://autoqg.net/
• 代码库： https://github.com/asahi417/lm-question-generation
• 论文： https://arxiv.org/abs/2210.03992

用法

• 使用 lmqg

from lmqg import TransformersQG

# initialize model
model = TransformersQG(language="fr", model="lmqg/mt5-small-frquad-ae")

# model prediction
answers = model.generate_a("Créateur » (Maker), lui aussi au singulier, « le Suprême Berger » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")

• 使用transformers

from transformers import pipeline

pipe = pipeline("text2text-generation", "lmqg/mt5-small-frquad-ae")
output = pipe("Pourtant, la strophe spensérienne, utilisée cinq fois avant que ne commence le chœur, constitue en soi un vecteur dont les répétitions structurelles, selon Ricks, relèvent du pur lyrisme tout en constituant une menace potentielle. Après les huit sages pentamètres iambiques, l'alexandrin final <hl> permet une pause <hl>, « véritable illusion d'optique » qu'accentuent les nombreuses expressions archaïsantes telles que did swoon, did seem, did go, did receive, did make, qui doublent le prétérit en un temps composé et paraissent à la fois « très précautionneuses et très peu pressées ».")

评估

• 指标（答案抽取）： raw metric file

训练超参数

在微调期间使用了以下超参数：

• 数据集路径：lmqg/qg_frquad
• 数据集名称：default
• 输入类型：['paragraph_sentence']
• 输出类型：['answer']
• 前缀类型：无
• 模型：google/mt5-small
• 最大长度：512
• 输出最大长度：32
• 训练轮数：23
• 批次大小：32
• 学习率：0.0005
• 混合精度训练：否
• 随机种子：1
• 梯度累积步数：2
• 标签平滑：0.15

完整的配置详见 fine-tuning config file 。

引用

@inproceedings{ushio-etal-2022-generative,
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
    author = "Ushio, Asahi  and
        Alva-Manchego, Fernando  and
        Camacho-Collados, Jose",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, U.A.E.",
    publisher = "Association for Computational Linguistics",
}