这是一个较小版本的 google/mt5-base ,只保留了一些俄文和英文的嵌入。
更多详细信息可以在一篇俄文帖子中找到: https://habr.com/ru/post/581932/
该模型已经对几个句子或短段落的任务进行了微调:
对于每个任务,任务名称与输入文本通过“|”分隔符连接。
该模型可以使用以下代码运行:
# !pip install transformers sentencepiece import torch from transformers import T5ForConditionalGeneration, T5Tokenizer tokenizer = T5Tokenizer.from_pretrained("cointegrated/rut5-base-multitask") model = T5ForConditionalGeneration.from_pretrained("cointegrated/rut5-base-multitask") def generate(text, **kwargs): inputs = tokenizer(text, return_tensors='pt') with torch.no_grad(): hypotheses = model.generate(**inputs, num_beams=5, **kwargs) return tokenizer.decode(hypotheses[0], skip_special_tokens=True)
该模型可以应用于每个预训练任务:
print(generate('translate ru-en | Каждый охотник желает знать, где сидит фазан.')) # Each hunter wants to know, where he is. print(generate('paraphrase | Каждый охотник желает знать, где сидит фазан.', encoder_no_repeat_ngram_size=1, repetition_penalty=0.5, no_repeat_ngram_size=1)) # В любом случае каждый рыбак мечтает познакомиться со своей фермой print(generate('fill | Каждый охотник _3_, где сидит фазан.')) # смотрит на озеро print(generate('assemble | охотник каждый знать фазан сидит')) # Каждый охотник знает, что фазан сидит. print(generate('simplify | Местным продуктом-специалитетом с защищённым географическим наименованием по происхождению считается люнебургский степной барашек.', max_length=32)) # Местным продуктом-специалитетом считается люнебургский степной барашек. print(generate('reply | Помогите мне закадрить девушку')) # Что я хочу? print(generate('answer | Помогите мне закадрить девушку')) # я хочу познакомиться с девушкой!!!!!!!! print(generate("comprehend | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, " "прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо. Вопрос: откуда приехал Морган?")) # из Австралии print(generate("ask | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, " "прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо.", max_length=32)) # Что разворачивается на фоне земельного конфликта между владельцами овец и ранчеро? print(generate("headline | На фоне земельного конфликта между владельцами овец и ранчеро разворачивается история любви овцевода Моргана Лейна, " "прибывшего в США из Австралии, и Марии Синглетон, владелицы богатого скотоводческого ранчо.", max_length=32)) # На фоне земельного конфликта разворачивается история любви овцевода Моргана Лейна и Марии Синглетон
然而,强烈推荐您对模型进行适应您自己的任务的微调。