请使用'Bert'相关函数加载此模型！

中文小型预训练模型MiniRBT

为了进一步促进中文信息处理的研究与开发，我们基于自主开发的知识蒸馏工具TextBrewer，结合全词屏蔽技术和知识蒸馏技术，推出了中文小型预训练模型MiniRBT

此代码库基于： https://github.com/iflytek/MiniRBT

您可能还对以下内容感兴趣：

• 中文LERT： https://github.com/ymcui/LERT
• 中文PERT： https://github.com/ymcui/PERT
• 中文MacBERT： https://github.com/ymcui/MacBERT
• 中文ELECTRA： https://github.com/ymcui/Chinese-ELECTRA
• 中文XLNet： https://github.com/ymcui/Chinese-XLNet
• 知识蒸馏工具包 - TextBrewer： https://github.com/airaria/TextBrewer

HFL提供的更多资源： https://github.com/iflytek/HFL-Anthology