数据集卡片创建指南

数据集概括

我们从 Stack Exchange 个网络中自动提取了问题和答案（Q&A）对。Stack Exchange集合了50个在线平台上的许多Q&A社区，包括著名的Stack Overflow和其他技术网站。每个月有1亿开发者访问Stack Exchange。该数据集是一个平行语料库，每个问题都映射到最高评级的答案。该数据集根据覆盖的社区分割，这些社区涵盖了各种领域，包括3D打印、经济学、树莓派或Emacs。所有社区的详尽列表可在 here 上找到。

语言

Stack Exchange主要使用英语（en）。

数据集结构

数据实例

每个数据样本的格式如下：

{'title_body': "Is there a Stack Exchange icon available? StackAuth /sites route provides all the site's icons except for the one of the Stack Exchange master site.\nCould you please provide it in some way (a static SVG would be good)?",
 'upvoted_answer': 'Here it is!\n\nDead link: SVG version here\nNote: the same restrictions on this trademarked icon that apply here, also apply to the icon above.',
 'downvoted_answer': 'No, the /sites route is not the right place for that.\n\n/sites enumerates all websites that expose API end-points. StackExchange.com does not expose such an endpoint, so it does not (and will not) appear in the results.'}

这个特定例子对应于 following page

数据字段

数据集中的字段包含以下信息：

• title_body : 这是问题的标题和正文的连接
• upvoted_answer : 这是最多赞的答案的正文
• downvoted_answer : 这是最多踩的答案的正文

数据拆分

我们为这个数据集提供了多个拆分，每个拆分对应一个给定的社区频道。下面详细介绍了每个拆分中的数据对数量：

数据集创建

策划理由

我们主要为句子嵌入训练设计了这个数据集。确实，句子嵌入可以使用对比学习设置进行训练，其中模型被训练成将每个句子与其对应的选项中的一对关联起来。这样的模型需要大量的示例才能有效，因此数据集创建可能是繁琐的。Stack Exchange等社区网络使我们能够半自动地建立许多示例。

来源数据

来源数据是来自 Stack Exchange 的转储数据。

我们从数学社区中收集数据。

我们过滤掉标题或正文长度低于20个字符的问题，以及正文长度超过4096个字符的问题。在提取最多赞的答案时，我们筛选了最多赞和最多踩答案之间至少有100票差距的配对。

问题和答案是由Stack Exchange的开发者社区撰写的。

附加信息

许可信息

请参阅许可信息： https://archive.org/details/stackexchange

引用信息

@misc{StackExchangeDataset,
  author = {Flax Sentence Embeddings Team},
  title = {Stack Exchange question pairs},
  year = {2021},
  howpublished = {https://huggingface.co/datasets/flax-sentence-embeddings/},
}

贡献

感谢Flax句子嵌入团队添加了这个数据集。