请使用'Bert'相关功能加载此模型！

中文小型预训练模型MiniRBT

为了进一步推动中文信息处理的研究和开发，我们基于自主开发的知识蒸馏工具TextBrewer，结合全词屏蔽技术和知识蒸馏技术，推出了中文小型预训练模型MiniRBT。

此存储库基于开发： https://github.com/iflytek/MiniRBT

您可能也感兴趣的是：

• Chinese LERT: https://github.com/ymcui/LERT
• Chinese PERT: https://github.com/ymcui/PERT
• Chinese MacBERT: https://github.com/ymcui/MacBERT
• Chinese ELECTRA: https://github.com/ymcui/Chinese-ELECTRA
• Chinese XLNet: https://github.com/ymcui/Chinese-XLNet
• 知识蒸馏工具-TextBrewer: https://github.com/airaria/TextBrewer

HFL提供的更多资源： https://github.com/iflytek/HFL-Anthology