这是针对短俄语非正式文本的有害性和不恰当性分类的 cointegrated/rubert-tiny 模型微调。

问题被定义为多标签分类，具有以下类别：

• 非有害：文本中不包含侮辱、粗言秽语和威胁，如 OK ML Cup 竞赛所定义。
• 侮辱
• 粗言秽语
• 威胁
• 有害：文本不恰当，侵害说话者声誉，如 Babakov et.al. 所定义。

只有当文本既是非有害的又不是危险的时候，才被视为安全的。

使用方法

下面的函数估计了文本是有害的或危险的概率：

# !pip install transformers sentencepiece --quiet
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_checkpoint = 'cointegrated/rubert-tiny-toxicity'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
if torch.cuda.is_available():
    model.cuda()
    
def text2toxicity(text, aggregate=True):
    """ Calculate toxicity of a text (if aggregate=True) or a vector of toxicity aspects (if aggregate=False)"""
    with torch.no_grad():
        inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True).to(model.device)
        proba = torch.sigmoid(model(**inputs).logits).cpu().numpy()
    if isinstance(text, str):
        proba = proba[0]
    if aggregate:
        return 1 - proba.T[0] * (1 - proba.T[-1])
    return proba

print(text2toxicity('я люблю нигеров', True))
# 0.9350118728093193

print(text2toxicity('я люблю нигеров', False))
# [0.9715758  0.0180863  0.0045551  0.00189755 0.9331106 ]

print(text2toxicity(['я люблю нигеров', 'я люблю африканцев'], True))
# [0.93501186 0.04156357]

print(text2toxicity(['я люблю нигеров', 'я люблю африканцев'], False))
# [[9.7157580e-01 1.8086294e-02 4.5550885e-03 1.8975559e-03 9.3311059e-01]
#  [9.9979788e-01 1.9048342e-04 1.5297388e-04 1.7452303e-04 4.1369814e-02]]

训练

该模型使用了 OK ML Cup 和 Babakov et.al. 的联合数据集进行训练，优化器为Adam，学习率为1e-5，批次大小为64，训练了15个epochs。如果文本的不恰当程度得分高于0.8，则视为不恰当；如果得分低于0.2，则视为适当。开发集上的每个标签的ROC AUC为：

non-toxic  : 0.9937
insult     : 0.9912
obscenity  : 0.9881
threat     : 0.9910
dangerous  : 0.8295