microsoft/deberta-v2-xlarge-mnli | ATYUN.COM 官网-人工智能教程资讯全方位服务平台

模型:

microsoft/deberta-v2-xlarge-mnli

任务:

文本分类

类库:

PyTorch Transformers

语言:

其他:

deberta-v2 deberta deberta-mnli

预印本库:

arxiv:2006.03654

许可:

mit

模型介绍文件清单

英文

DeBERTa: 使用解耦注意力和增强的遮罩解码器改进的BERT模型

DeBERTa 通过使用解耦注意力和增强的遮罩解码器改进了BERT和RoBERTa模型。在80GB的训练数据下，在大多数NLU任务上表现优于BERT和RoBERTa。

请查看 official repository 以获取更多细节和更新内容。

这是经过MNLI任务微调的DeBERTa V2 xlarge模型，具有24层和1536个隐藏单元。总共有900M个参数。

在NLU任务上进行微调

我们在SQuAD 1.1/2.0和几个GLUE基准任务上呈现了开发结果。

Model	SQuAD 1.1	SQuAD 2.0	MNLI-m/mm	SST-2	QNLI	CoLA	RTE	MRPC	QQP	STS-B
F1/EM	F1/EM	Acc	Acc	Acc	MCC	Acc	Acc/F1	Acc/F1	P/S
BERT-Large	90.9/84.1	81.8/79.0	86.6/-	93.2	92.3	60.6	70.4	88.0/-	91.3/-	90.0/-
RoBERTa-Large	94.6/88.9	89.4/86.5	90.2/-	96.4	93.9	68.0	86.6	90.9/-	92.2/-	92.4/-
XLNet-Large	95.1/89.7	90.6/87.9	90.8/-	97.0	94.9	69.0	85.9	90.8/-	92.3/-	92.5/-
1234321 1	95.5/90.1	90.7/88.0	91.3/91.1	96.5	95.3	69.5	91.0	92.6/94.6	92.3/-	92.8/92.5
1235321 1	-/-	-/-	91.5/91.2	97.0	-	-	93.1	92.1/94.3	-	92.9/92.7
1236321 1	95.8/90.8	91.4/88.9	91.7/91.6	97.5	95.8	71.1	93.9	92.0/94.2	92.3/89.8	92.9/92.9
1237321 1,2	96.1/91.4	92.2/89.7	91.7/91.9	97.2	96.0	72.0	93.5	93.1/94.9	92.7/90.3	93.2/93.1

注意事项。

1 在RTE、MRPC、STS-B这些任务上，我们按照RoBERTa的方法进行微调，基于 DeBERTa-Large-MNLI 、 DeBERTa-XLarge-MNLI 、 DeBERTa-V2-XLarge-MNLI 、 DeBERTa-V2-XXLarge-MNLI 进行微调。当从MNLI微调的模型开始时，SST-2/QQP/QNLI/SQuADv2的结果也会稍微提高，但我们只报告从预训练基本模型进行微调的这4个任务的结果。
2 要使用 HF transformers 尝试XXLarge模型，需要指定--sharded_ddp

cd transformers/examples/text-classification/
export TASK_NAME=mrpc
python -m torch.distributed.launch --nproc_per_node=8 run_glue.py   --model_name_or_path microsoft/deberta-v2-xxlarge   \\
--task_name $TASK_NAME   --do_train   --do_eval   --max_seq_length 128   --per_device_train_batch_size 4   \\
--learning_rate 3e-6   --num_train_epochs 3   --output_dir /tmp/$TASK_NAME/ --overwrite_output_dir --sharded_ddp --fp16

引用

如果您发现DeBERTa对您的工作有用，请引用以下论文：

@inproceedings{
he2021deberta,
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=XPZIaotutsD}
}

作者:

Microsoft

数据集大小:

1.65 GB