这是经过微调的基础模型（390M个参数）。

模型使用了 romanian diacritics dataset 的数据进行了150k步的微调，批量大小为8。编码器序列长度为256，解码器序列长度也为256。使用以下 scripts 进行了训练。

如何加载经过微调的mt5x模型

from transformers import MT5ForConditionalGeneration, T5Tokenizer
model = MT5ForConditionalGeneration.from_pretrained('iliemihai/mt5-base-romanian-diacritics')
tokenizer = T5Tokenizer.from_pretrained('iliemihai/mt5-base-romanian-diacritics')
input_text = "A inceput sa ii taie un fir de par, iar fata sta in fata, tine camasa de in in mana si canta nota SI."
inputs = tokenizer(input_text, max_length=256, truncation=True, return_tensors="pt")
outputs = model.generate(input_ids=inputs["input_ids"], attention_mask=inputs["attention_mask"])
output = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(output)  # this will print "A început să îi taie un fir de păr, iar fata stă în față, ține cămașa de in în mână și cântă nota SI" 

评估

评估工作将很快完成 here 。

致谢

我们要感谢 TPU Research Cloud 提供的用于训练这些模型的TPUv3核心！

作者

您真诚的，

Stefan Dumitrescu ， Mihai Ilie 和 Per Egil Kummervold