BERT基准模型（无大小写区分）

使用掩码语言建模（MLM）目标在英语语言上进行预训练的模型。该模型是无大小写区分的：它不会区分英文和English。

模型描述

BERT是一个基于transformers框架的模型，在自监督方式下对大量英语文本进行预训练。这意味着它仅在原始文本上进行了预训练，而没有以任何方式进行人工标注（这就是它可以使用大量公开可用的数据的原因），它使用自动化流程从这些文本中生成输入和标签。更具体地说，它通过两个目标进行了预训练：

• 掩码语言建模（MLM）：将一个句子随机选择15％的单词进行掩码处理，然后将整个掩码句子输入模型，并预测掩码的单词。这与传统的循环神经网络（RNN）通常逐个观察单词的方式或内部掩码未来标记的自回归模型（如GPT）不同。它使得模型能够学习句子的双向表示。

• 下一个句子预测（NSP）：在预训练期间，模型将两个掩码句子连接为输入。有时，它们对应于原始文本中相邻的句子，有时不是。然后，模型必须预测这两个句子是否相互跟随。通过这种方式，模型学习了英语语言的内部表示，可以用于提取对下游任务有用的特征：例如，如果你有一个带有标记句子的数据集，你可以使用BERT模型生成的特征作为输入来训练一个标准分类器。

模型描述 [Seethal/sentiment_analysis_generic_dataset]

这是bert基准模型（无大小写区分）的一个微调下游版本，用于情感分析，该模型不适用于任何其他任务的下游微调。该模型基于一个用于文本分类的分类数据集进行了训练。