英文

这是针对短俄语非正式文本的有害性和不恰当性分类的 cointegrated/rubert-tiny 模型微调。

问题被定义为多标签分类,具有以下类别:

  • 非有害:文本中不包含侮辱、粗言秽语和威胁,如 OK ML Cup 竞赛所定义。
  • 侮辱
  • 粗言秽语
  • 威胁
  • 有害:文本不恰当,侵害说话者声誉,如 Babakov et.al. 所定义。

只有当文本既是非有害的又不是危险的时候,才被视为安全的。

使用方法

下面的函数估计了文本是有害的或危险的概率:

# !pip install transformers sentencepiece --quiet
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_checkpoint = 'cointegrated/rubert-tiny-toxicity'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
if torch.cuda.is_available():
    model.cuda()
    
def text2toxicity(text, aggregate=True):
    """ Calculate toxicity of a text (if aggregate=True) or a vector of toxicity aspects (if aggregate=False)"""
    with torch.no_grad():
        inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True).to(model.device)
        proba = torch.sigmoid(model(**inputs).logits).cpu().numpy()
    if isinstance(text, str):
        proba = proba[0]
    if aggregate:
        return 1 - proba.T[0] * (1 - proba.T[-1])
    return proba

print(text2toxicity('я люблю нигеров', True))
# 0.9350118728093193

print(text2toxicity('я люблю нигеров', False))
# [0.9715758  0.0180863  0.0045551  0.00189755 0.9331106 ]

print(text2toxicity(['я люблю нигеров', 'я люблю африканцев'], True))
# [0.93501186 0.04156357]

print(text2toxicity(['я люблю нигеров', 'я люблю африканцев'], False))
# [[9.7157580e-01 1.8086294e-02 4.5550885e-03 1.8975559e-03 9.3311059e-01]
#  [9.9979788e-01 1.9048342e-04 1.5297388e-04 1.7452303e-04 4.1369814e-02]]

训练

该模型使用了 OK ML Cup Babakov et.al. 的联合数据集进行训练,优化器为Adam,学习率为1e-5,批次大小为64,训练了15个epochs。如果文本的不恰当程度得分高于0.8,则视为不恰当;如果得分低于0.2,则视为适当。开发集上的每个标签的ROC AUC为:

non-toxic  : 0.9937
insult     : 0.9912
obscenity  : 0.9881
threat     : 0.9910
dangerous  : 0.8295