基于TyDiQA的mT5-base精调版本的多语言问题生成??❓

Google's mT5-base 在 TyDi QA 上进行了精调（用于次要任务），以实现多语言问题生成的下游任务（通过答案前置）。

mT5的详细信息

Google's mT5

mT5是在 mC4 语料库上进行预训练的，涵盖101种语言：

阿非利加语、阿尔巴尼亚语、阿姆哈拉语、阿拉伯语、亚美尼亚语、阿塞拜疆语、巴斯克语、白俄罗斯语、孟加拉语、保加利亚语、缅甸语、加泰罗尼亚语、宿务语、齐切瓦语、中文、科西嘉语、捷克语、丹麦语、荷兰语、英语、世界语、爱沙尼亚语、菲律宾语、芬兰语、法语、加利西亚语、格鲁吉亚语、德语、希腊语、古吉拉特语、海地克里奥尔语、豪萨语、夏威夷语、希伯来语、印地语、苗语、匈牙利语、冰岛语、伊博语、印度尼西亚语、爱尔兰语、意大利语、日语、爪哇语、坎纳达语、哈萨克语、高棉语、韩语、库尔德语、吉尔吉斯语、老挝语、拉丁语、拉脱维亚语、立陶宛语、卢森堡语、马其顿语、马拉加斯语、马来语、马拉雅拉姆语、马耳他语、毛利语、马拉地语、蒙古语、尼泊尔语、挪威语、普什图语、波斯语、波兰语、葡萄牙语、旁遮普语、罗马尼亚语、俄语、萨摩亚语、苏格兰盖尔语、塞尔维亚语、绍纳语、信德语、僧伽罗语、斯洛伐克语、斯洛文尼亚语、索马里语、索托语、西班牙语、巽他语、斯瓦希里语、瑞典语、塔吉克语、泰米尔语、泰卢固语、泰语、土耳其语、乌克兰语、乌尔都语、乌兹别克语、越南语、威尔士语、西弗里斯语、科萨语、依地语、祖鲁语。

注意：mT5仅在mC4上进行了预训练，排除了任何监督训练。因此，在将此模型用于下游任务之前，需要进行精调。

预训练数据集： mC4

其他社区检查点： here

论文： mT5: A massively multilingual pre-trained text-to-text transformer

作者： Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel

数据集的详细信息 ?

TyDi QA 是一个包含20.4万个问答对的问答数据集，涵盖了11种类型多样的语言。 TyDi QA的语言在其类型学上是多样的，即每种语言表达的语言特征集合，因此我们希望在这个数据集上表现良好的模型能够推广到世界上大多数语言。它包含了在仅限英语的语料库中找不到的语言现象。为了提供一个现实的信息查询任务并避免启发效应，问题是由想要了解答案但尚不知答案的人编写的（与SQuAD及其后代不同），并且数据是直接在每种语言中收集而不使用翻译（与MLQA和XQuAD不同）。

在验证数据集上的结果 ?

正在进行中

模型展示 ?

正在进行中

创建者： Narrativa

关于Narrativa： 自然语言生成（NLG）| 基于机器学习的平台Gabriele构建并部署自然语言解决方案。＃NLG＃AI