这是 cointegrated/rubert-tiny 的更新版本：一种具有高质量句子嵌入的小型俄语BERT编码器。这是 post in Russian ，它提供了更多详细信息。

与之前版本相比，主要差异包括：

• 词汇量更大：从29564个标记增加到83828个标记；
• 支持更长的序列：从512增加到2048；
• 句子嵌入与LaBSE更接近；
• 有意义的片段嵌入（在NLI任务上进行了调整）；
• 该模型仅针对俄语。

该模型应按原样用于生成句子嵌入（例如，用于对短文本进行KNN分类）或对下游任务进行微调。

可以按照以下方式生成句子嵌入：

# pip install transformers sentencepiece
import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("cointegrated/rubert-tiny2")
model = AutoModel.from_pretrained("cointegrated/rubert-tiny2")
# model.cuda()  # uncomment it if you have a GPU

def embed_bert_cls(text, model, tokenizer):
    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        model_output = model(**{k: v.to(model.device) for k, v in t.items()})
    embeddings = model_output.last_hidden_state[:, 0, :]
    embeddings = torch.nn.functional.normalize(embeddings)
    return embeddings[0].cpu().numpy()

print(embed_bert_cls('привет мир', model, tokenizer).shape)
# (312,)