此分类模型基于 sberbank-ai/ruRoberta-large 。该模型应该用于在对话的上下文中产生最后一条消息的相关性和特异性。

标签解释：

• 相关性：最后一条消息在完整对话的上下文中是否相关。
• 特异性：最后一条消息是否有趣并促使对话继续。

它在无监督的方式下使用大量对话数据进行预训练：模型被训练以预测最后一条回应是否来自真实对话，或者是随机从其他对话中提取的。然后，它在手动标注的示例上进行微调（数据集将很快发布）。

模型在验证集上（数据集将很快发布）的性能（使用验证样本的最佳阈值）：

如何使用：

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained('tinkoff-ai/response-quality-classifier-large')
model = AutoModelForSequenceClassification.from_pretrained('tinkoff-ai/response-quality-classifier-large')
inputs = tokenizer('[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм, у тя как?', max_length=128, add_special_tokens=False, return_tensors='pt')
with torch.inference_mode():
    logits = model(**inputs).logits
    probas = torch.sigmoid(logits)[0].cpu().detach().numpy()
relevance, specificity = probas

这是一个可以方便地与该模型进行交互的 app 。

该工作是在Tinkoff实习期间由 egoriyaa 完成的，由 solemn-leader 担任导师。