这是基于 google/mt5-small 模型的一个小型俄语改写工具。它的改写性能相对较差，但可以根据这个或其他任务进行微调。

该模型是通过从 alenusch/mt5small-ruparaphraser 模型中剥离与俄语无关或不常见的词汇的96%来创建的。

• 原始模型有3亿个参数，其中2.56亿个是输入和输出的嵌入。
• 将sentencepiece词汇表从25万缩减到2万后，模型参数数量减少到6500万个，并且模型大小从1.1GB减少到246MB。
• 新词汇表中的前5,000个标记来自原始的mt5-small模型。
• 接下来的15,000个标记是通过对来自 Leipzig corpora collection 的俄语网页语料进行分词获得的最常见标记。

可以按照以下方式使用该模型：

# !pip install transformers sentencepiece
import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer

tokenizer = T5Tokenizer.from_pretrained("cointegrated/rut5-small")
model = T5ForConditionalGeneration.from_pretrained("cointegrated/rut5-small")

text = 'Ехал Грека через реку, видит Грека в реке рак. '
inputs = tokenizer(text, return_tensors='pt')
with torch.no_grad():
    hypotheses = model.generate(
        **inputs, 
        do_sample=True, top_p=0.95, num_return_sequences=10, 
        repetition_penalty=2.5,
        max_length=32,
    )
for h in hypotheses:
    print(tokenizer.decode(h, skip_special_tokens=True))