这是一个非常简化版本的 bert-base-multilingual-cased 模型，用于俄语和英语（45 MB，12M参数）。还有一个更新的版本 rubert-tiny2 ，词汇量更大，在几乎所有俄语NLU任务上质量更好。

如果您想要为相对简单的俄语任务（如NER或情感分类）进行微调，并且更关注速度和大小而不是准确性，该模型非常有用。它的大小和速度大约是基准大小的BERT的10倍。其[CLS]嵌入可以用作俄语和英语之间的句子表示。

它是使用 Yandex Translate corpus 、 OPUS-100 和 Tatoeba 进行训练的，使用MLM损失（从 bert-base-multilingual-cased 蒸馏而来），翻译排序损失以及从 LaBSE 、 rubert-base-cased-sentence 、Laser和USE蒸馏而来的[CLS]嵌入。

有一个更详细的 description in Russian 。

可以按照以下方式生成句子嵌入：

# pip install transformers sentencepiece
import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("cointegrated/rubert-tiny")
model = AutoModel.from_pretrained("cointegrated/rubert-tiny")
# model.cuda()  # uncomment it if you have a GPU

def embed_bert_cls(text, model, tokenizer):
    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        model_output = model(**{k: v.to(model.device) for k, v in t.items()})
    embeddings = model_output.last_hidden_state[:, 0, :]
    embeddings = torch.nn.functional.normalize(embeddings)
    return embeddings[0].cpu().numpy()

print(embed_bert_cls('привет мир', model, tokenizer).shape)
# (312,)