数据集卡片创建指南

数据集概述

我们从 Stack Exchange 个网络中自动提取了问题和答案 (Q&A) 对。Stack Exchange 聚集了来自 50 个在线平台的许多 Q&A 社区，包括著名的 Stack Overflow 和其他技术网站。每个月有1亿开发者访问 Stack Exchange。该数据集是一个平行语料库，其中每个问题映射到评分最高的答案。数据集根据不同的社区进行划分，涵盖了各种领域，包括3D打印、经济学、树莓派或者Emacs等。可以在 here 的链接中找到所有社区的详尽列表。

语言

Stack Exchange 主要由英语（en）构成。

数据集结构

数据实例

每个数据样本的呈现方式如下：

{'title_body': "Is there a Stack Exchange icon available? StackAuth /sites route provides all the site's icons except for the one of the Stack Exchange master site.\nCould you please provide it in some way (a static SVG would be good)?",
 'upvoted_answer': 'Here it is!\n\nDead link: SVG version here\nNote: the same restrictions on this trademarked icon that apply here, also apply to the icon above.',
 'downvoted_answer': 'No, the /sites route is not the right place for that.\n\n/sites enumerates all websites that expose API end-points. StackExchange.com does not expose such an endpoint, so it does not (and will not) appear in the results.'}

此特定示例对应于 following page 。

数据字段

数据集中包含以下信息的字段：

• title_body：问题的标题和正文的拼接
• upvoted_answer：得票最高的答案的正文

数据划分

我们为该数据集提供多个划分，每个划分对应于一个特定的社区频道。下面详细介绍了每个划分的数据对数：

数据集创建

策划理由

我们主要为了句子嵌入的训练设计了这个数据集。实际上，句子嵌入可以通过对比学习的设置进行训练，其中模型被训练以将每个句子与其对应的多个候选句子中的一个关联起来。这样的模型需要大量的示例才能高效，因此数据集的创建可能是繁琐的。像 Stack Exchange 这样的社区网络可以帮助我们半自动地构建许多示例。

数据源

源数据来自于 Stack Exchange 。

我们从数学社区收集了数据。

我们筛选了标题或正文长度不到20个字符以及正文长度超过4096个字符的问题。

问题和答案是由 Stack Exchange 社区的开发者编写的。

其他信息

许可信息

请参阅 https://archive.org/details/stackexchange 处的许可信息。

引用信息

@misc{StackExchangeDataset,
  author = {Flax Sentence Embeddings Team},
  title = {Stack Exchange question pairs},
  year = {2021},
  howpublished = {https://huggingface.co/datasets/flax-sentence-embeddings/},
}

贡献

感谢 Flax 句子嵌入团队为添加此数据集。