bengali-t5-base

bengali-t5-base 是在MT5数据集的孟加拉语部分上训练的模型。我们使用的是T5-base模型。

Flax/Jax Community Week ，由 HuggingFace 组织并由Google赞助TPU使用。

该模型在大约11B个标记上进行训练（64大小批次，512个标记，350k步骤）。

加载标记器

>>> tokenizer = transformers.AutoTokenizer.from_pretrained("flax-community/bengali-t5-base")
>>> tokenizer.encode("আমি বাংলার গান গাই")
>>> tokenizer.decode([93, 1912, 814, 5995, 3, 1])

[93, 1912, 814, 5995, 3, 1]
'আমি বাংলার গান গাই </s>'

加载模型

>>> config  = T5Config.from_pretrained("flax-community/bengali-t5-base")
>>> model = FlaxT5ForConditionalGeneration.from_pretrained("flax-community/bengali-t5-base", config=config)

该模型在去噪任务之后按照脚本 here 和 here 进行训练。目前，该模型没有生成能力。如果您希望该模型具有生成能力，请根据 paper 中提到的prefix-LM目标进行微调。

在“训练指标”选项卡中查看Tensorboard日志。

请注意，我们没有在任何下游任务中对该模型进行微调。

提案

Project Proposal

参与者

有用链接

作者:

Flax Community

数据集大小:

2.73 GB