印尼 T5 基础模型

T5（文本到文本转换转换器）模型在印尼 mC4 数据集上进行了预训练，使用了 extra filtering 个样本。该模型仅进行了预训练，需要进行微调以用于特定任务。

预训练详情

进行了 1M 步的训练，遵循 google/t5-v1_1-base 的方法。

模型性能

待确定。

限制和偏见

由于训练数据的内容偏见，该模型的输出结果可能存在偏见（不道德、有害、带偏见）。在使用时请注意仅用于不会造成损害的应用。

致谢

感谢 Tensorflow 研究云提供的 TPU v3-8s。