t5-base-japanese-web（带有Byte-fallback，32K）

描述

megagonlabs/t5-base-japanese-web 是在日本网络文本上预训练的T5（文本到文本传输变换器）模型。训练代码为 available on GitHub 。

该模型的词汇表大小为32K。 8K version is also available 。

语料库

我们使用以下语料库进行预训练。

• mC4/3.0.1 中的日语（我们使用 Tensorflow native format ）
  • 87,425,304 页
  • 782 GB 的 TFRecord 格式
• Japanese 中的 wiki40b/1.3.0
  • 828,236 篇文章（2,073,584 个示例）
  • 2 GB 的 TFRecord 格式

分词器

我们使用日语维基百科来训练 SentencePiece 。

• 词汇表大小：32,000
• Byte-fallback ：已启用

参数

• T5 模型： models/t5.1.1.base.gin
• 训练步骤：1,000,000

使用 TPU v3-8 大约需要 126 小时

相关模型

• 日本語T5事前学習済みモデル (sonoisa/t5-base-japanese)
• 日本語T5事前学習済みモデル (sonoisa/t5-base-japanese-mC4-Wikipedia)

许可证

Apache 许可证 2.0

引用

• mC4

包含来自 mC4 的信息，该信息根据 ODC Attribution License 可用。

@article{2019t5,
    author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
    title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
    journal = {arXiv e-prints},
    year = {2019},
    archivePrefix = {arXiv},
    eprint = {1910.10683},
}

• wiki40b

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}