random-roberta-base

我们介绍了random-roberta-base，这是一个未经预训练的RoBERTa模型的版本。random-roberta-base的权重是随机初始化的，这对于我们从头开始训练语言模型或者评估预训练的效果非常有用。

值得注意的是，random-roberta-base的分词器与roberta-base相同，因为获取随机的分词器并不是一项简单的任务，而且相较于随机权重来说，意义也较小。

将random-roberta-base从Huggingface导入的一个有争议的优点是，可以避免使用随机种子以便每次获得相同的随机性。

获取这样一个随机模型的代码:

from transformers import AutoTokenizer, AutoModelForSequenceClassification

def get_blank_model_from_hf(model_name="bert-base-cased"):
    model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=5)
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model.base_model.init_weights()
    model_name = "random-" + model_name
    base_model= model.base_model
    return base_model, tokenizer, model_name