模型详情

这是一个基于 gpt2-medium 的条件语言模型，但使用 t5-base 的词汇表，以与基于T5的重述器（如 t5-paranmt-detox ）兼容。该模型有两种风格条件，即有毒和正常，并且在Jigsaw toxic comment classification challenge 的数据集上进行了微调。

该模型是为2021年Dale等人的论文 Text Detoxification using Large Pre-trained Neural Models 而训练的，该论文对其可能的使用进行了更详细的描述。

如何使用它以及训练代码示例，请参见 https://github.com/skoltech-nlp/detox 。

模型描述

• 开发者：Skolkovo Institute
• 模型类型：条件文本生成
• 语言：英语
• 相关模型：
  • 父模型： gpt2-medium
  • 词汇表来源： t5-base
• 更多信息资源：
  • 论文 Text Detoxification using Large Pre-trained Neural Models
  • 其存储库 https://github.com/skoltech-nlp/detox 。

用途

该模型用于作为文本解毒流水线中的判别器，使用ParaGeDi方法（详见 the paper 以获取更多详细信息）。它还可以用于基于有毒或非有毒风格的条件文本生成，但我们不知道如何除了毒性外，对其他内容进行条件限制，因此不建议这种用法。另一个可能的用途是作为毒性分类器（使用贝叶斯规则），但预计该模型的性能不会超过基于BERT的标准分类器。

偏见、风险和限制

该模型继承了其父模型 gpt2-medium 的所有风险。它还继承了它进行微调的 Jigsaw dataset 的所有偏见。该模型旨在以风格为条件，但实际上它并未清楚地将风格与内容的概念分离开，因此它可能根据主题或关键词而不是风格将某些文本视为有毒或安全。

训练详情

请参阅论文 Text Detoxification using Large Pre-trained Neural Models 和 the associated code 。

评估

该模型尚未单独进行评估，只作为ParaGeDi文本解毒流水线的一部分进行评估（详见 the paper ）。

引用

BibTeX：

@inproceedings{dale-etal-2021-text,
   title = "Text Detoxification using Large Pre-trained Neural Models",
   author = "Dale, David  and
     Voronov, Anton  and
     Dementieva, Daryna  and
     Logacheva, Varvara  and
     Kozlova, Olga  and
     Semenov, Nikita  and
     Panchenko, Alexander",
   booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
   month = nov,
   year = "2021",
   address = "Online and Punta Cana, Dominican Republic",
   publisher = "Association for Computational Linguistics",
   url = "https://aclanthology.org/2021.emnlp-main.629",
   pages = "7979--7996",
}