数据集:
mteb/toxic_conversations_50k
语言:
en这是 Jigsaw Unintended Bias in Toxicity Classification dataset 的一个版本。它包含了来自 Civil Comments 平台的评论,并标注了评论是否毒性。
这个数据集仅包含前 50,000 个训练样本。
每个示例由 10 个注释者进行标注,根据任务页面的建议,当目标值 >= 0.5 时,将评论标记为毒性。
数据集不平衡,只有大约 8% 的评论被标记为毒性。