roscoe-512-roberta-base

模型描述

用于推理步骤的句子嵌入模型。

为了获取推理步骤的嵌入向量，我们对SimCSE（Gao et al., 2021）进行了微调，SimCSE是在RoBERTa词嵌入模型（Liu et al., 2019）基础上扩展的监督句子相似度模型，我们在§5中列出了使用的多步推理数据集（详见Golovneva et al., 2022）。SimCSE是一种对比学习模型，使用批内负例的三元组参考推理步骤、正例推理步骤和困难负例推理步骤来最小化交叉熵目标。对于对比学习，我们将上下文和引用推理步骤作为正样本，将上下文和扰动后的引用步骤作为困难负样本。通过微调模型，我们将每个单独的步骤以及整个推理链都嵌入为向量。我们使用经过预训练的监督SimCSE模型sup-simcse-roberta-base来初始化我们的模型，并在合成训练数据上进一步训练了五个epochs。

训练数据

为了训练模型，我们通过对以下数据集中一半的引用推理步骤进行扰动（即确定性修改）来构建数据集：Entailment-Bank（演绎推理）、ProofWriter（逻辑推理）；三个算术推理数据集 MATH、ASDIV 和 AQUA；EQASC（常识问题回答的解释）和 StrategyQA（带有隐式推理策略的问题回答）。

参考文献

Tianyu Gao, Xingcheng Yao, and Danqi Chen. Simcse: Simple contrastive learning of sentence embeddings.arXiv preprint arXiv:2104.08821, 2021.

Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis,Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXivpreprint arXiv:1907.11692, 2019.

Olga Golovneva, Moya Chen, Spencer Poff, Martin Corredor, Luke Zettlemoyer, Maryam Fazel-Zarandi, and Asli Celikyilmaz. ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning. arXiv:2212.07919, 2022.

引用

@article{golovneva2022roscoe, title={{ROSCOE}: A Suite of Metrics for Scoring Step-by-Step Reasoning}, author={Golovneva, Olga and Chen, Moya and Poff, Spencer and Corredor, Martin and Zettlemoyer, Luke and Fazel-Zarandi, Maryam and Celikyilmaz, Asli}, journal={arXiv preprint arXiv:2212.07919}, year={2022}}

作者:

Meta AI

数据集大小:

476.77 MB