mt5-base在mMARCO数据集上微调的重新排序器

介绍

mt5-base-mmarco-v2是基于mT5模型在多语言翻译版本的MS MARCO段落数据集上进行微调的模型。该数据集名为Multi MS MARCO，由9个不同语言的完整MS MARCO段落集合组成。在v2版本中，使用谷歌翻译对数据集进行了翻译。有关数据集或翻译方法的更多信息可以在我们的论文 mMARCO: A Multilingual Version of MS MARCO Passage Ranking Dataset 和 mMARCO 的存储库中找到。

使用方法

from transformers import T5Tokenizer, MT5ForConditionalGeneration

model_name = 'unicamp-dl/mt5-base-mmarco-v2'
tokenizer  = T5Tokenizer.from_pretrained(model_name)
model      = MT5ForConditionalGeneration.from_pretrained(model_name)

引用

如果您使用了mt5-base-mmarco-v2，请引用：

@misc{bonifacio2021mmarco,
  title={mMARCO: A Multilingual Version of MS MARCO Passage Ranking Dataset}, 
  author={Luiz Henrique Bonifacio and Vitor Jeronymo and Hugo Queiroz Abonizio and Israel Campiotti and Marzieh Fadaee and  and Roberto Lotufo and Rodrigo Nogueira},
  year={2021},
  eprint={2108.13897},
  archivePrefix={arXiv},
  primaryClass={cs.CL}

}