请使用 'Bert' 相关的函数加载这个模型！

中文小型预训练模型 MiniRBT

为了进一步推动中文信息处理的研究与开发，我们基于自主开发的知识蒸馏工具 TextBrewer，结合全词蒙版技术和知识蒸馏技术，推出了中文小型预训练模型 MiniRBT。

这个存储库是基于： https://github.com/iflytek/MiniRBT 开发的

您可能还对以下内容感兴趣，

• 中文 LERT： https://github.com/ymcui/LERT
• 中文 PERT： https://github.com/ymcui/PERT
• 中文 MacBERT： https://github.com/ymcui/MacBERT
• 中文 ELECTRA： https://github.com/ymcui/Chinese-ELECTRA
• 中文 XLNet： https://github.com/ymcui/Chinese-XLNet
• 知识蒸馏工具包 - TextBrewer： https://github.com/airaria/TextBrewer

HFL 的更多资源： https://github.com/iflytek/HFL-Anthology