模型描述

该存储库包含了在SNLI语料库上对BERT模型进行微调以进行语义相似性预测的模型和笔记本。 Semantic Similarity with BERT 。

完整的来源归功于 Mohamad Merchant 。

重新制作由 Vu Minh Chien 完成。

动机：语义相似性确定两个句子在意义上的相似程度。在本教程中，我们可以对BERT模型进行微调，并使用它来预测两个句子的相似性分数。

训练和评估数据

该示例演示了使用斯坦福自然语言推理（SNLI）语料库对转换器进行语义句子相似性预测的方法。

• 总训练样本数：100000

• 总验证样本数：10000

• 总测试样本数：10000

以下是SNLI数据集中的"相似性"标签值：

• 矛盾：这两个句子没有相似性。

• 蕴涵：这两个句子具有相似的意思。

• 中立：这两个句子是中立的。

训练过程

训练超参数

在训练过程中使用了以下超参数：

模型图