ELECTRA：将文本编码器作为判别器而非生成器进行预训练

ELECTRA是一种用于自监督语言表示学习的新方法。它可以使用相对较少的计算资源来预训练变压器网络。ELECTRA模型被训练为区分“真实”输入令牌与另一个神经网络生成的“假”输入令牌，类似于一个判别器。在小规模上，即使在单个GPU上进行训练，ELECTRA也能取得强大的结果。在大规模上，ELECTRA在数据集中取得了最先进的结果。

有关详细描述和实验结果，请参阅我们的论文。

这个存储库包含了预训练ELECTRA的代码，包括在单个GPU上使用的小型ELECTRA模型。它还支持在下游任务中对ELECTRA进行微调，包括分类任务（例如） ，QA任务（例如）和序列标记任务（例如） 。

如何在transformers中使用判别器

from transformers import ElectraForPreTraining, ElectraTokenizerFast
import torch

discriminator = ElectraForPreTraining.from_pretrained("google/electra-small-discriminator")
tokenizer = ElectraTokenizerFast.from_pretrained("google/electra-small-discriminator")

sentence = "The quick brown fox jumps over the lazy dog"
fake_sentence = "The quick brown fox fake over the lazy dog"

fake_tokens = tokenizer.tokenize(fake_sentence)
fake_inputs = tokenizer.encode(fake_sentence, return_tensors="pt")
discriminator_outputs = discriminator(fake_inputs)
predictions = torch.round((torch.sign(discriminator_outputs[0]) + 1) / 2)

[print("%7s" % token, end="") for token in fake_tokens]

[print("%7s" % int(prediction), end="") for prediction in predictions.squeeze().tolist()]