Chinese ALBERT

模型描述

这是由UER-py预训练的一组中文ALBERT模型。您可以从此链接或通过HuggingFace从下面的链接下载模型:

使用方法

您可以直接使用文本生成管道对模型进行使用:

以下是如何使用此模型来获取给定文本的特性（基于PyTorch）:

以及（基于TensorFlow）:

训练数据

作为训练数据使用

训练过程

该模型是由在上进行预训练的。我们进行了1000000步的预训练，序列长度为128，然后再进行250000步，序列长度为512。我们在不同的模型大小上使用相同的超参数。

以ALBERT-Base为例:

阶段1:

阶段2:

最后，我们将预训练模型转换为Huggingface的格式:

BibTeX引用和引用信息