T5中文拼写纠错模型

中文拼写纠错模型

shibing624/mengzi-t5-base-chinese-correction 评估SIGHAN2015测试数据：

• 句子级别：准确率：0.8321，召回率：0.6390，F1得分：0.7229

该模型使用"SIGHAN+Wang271K中文纠错数据集"进行训练，在SIGHAN2015的测试集上取得了接近SOTA水平的结果。

模型结构未经修改，在中文纠错数据集上进行了微调，纠错效果很好，潜力巨大。

使用方法

本项目已在中文文本纠错项目" pycorrector "中开源，支持T5模型，可通过以下命令调用：

pip install -U pycorrector

运行：

from pycorrector.t5.t5_corrector import T5Corrector
nlp = T5Corrector("shibing624/mengzi-t5-base-chinese-correction").batch_t5_correct
i = "今天新情很好"
print(i, ' => ', nlp([i]))

输出：

今天新情很好  =>  今天心情很好 [('新', '心', 2, 3)]

模型文件组成：

mengzi-t5-base-chinese-correction
|-- config.json
|-- pytorch_model.bin
|-- special_tokens_map.json
|-- spiece.model
|-- tokenizer_config.json
`-- tokenizer.json

如果需要训练T5纠错模型，请参考" https://github.com/shibing624/pycorrector/tree/master/pycorrector/t5 "。

训练数据集

SIGHAN+Wang271K中文纠错数据集的数据格式为：

[
    {
        "id": "B2-4029-3",
        "original_text": "晚间会听到嗓音，白天的时候大家都不会太在意，但是在睡觉的时候这嗓音成为大家的恶梦。",
        "wrong_ids": [
            5,
            31
        ],
        "correct_text": "晚间会听到噪音，白天的时候大家都不会太在意，但是在睡觉的时候这噪音成为大家的恶梦。"
    },
]

引用

@software{pycorrector,
  author = {Xu Ming},
  title = {pycorrector: Text Error Correction Tool},
  year = {2021},
  url = {https://github.com/shibing624/pycorrector},
}