英文

这是一个更小版本的 google/mt5-base 模型,只保留了俄语和一些英语嵌入。

  • 原始模型有5.82亿个参数,其中3.84亿个是输入和输出嵌入。
  • 在将sentencepiece词汇从25万缩小到3万(其中英语的前1万个和俄语的前2万个令牌),模型参数数量减少到2.44亿个,模型大小从2.2GB减小到0.9GB-原始模型的42%。

有关该模型的创建详细信息,请参阅帖子 How to adapt a multilingual T5 model for a single language 以及源代码。