您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
数据集:
embedding-data/PAQ_pairs
英文"PAQ_pairs"数据集的数据卡
数据集概述
从维基百科中获取的问题和答案配对数据。
免责声明：发布PAQ QA配对数据的团队未将数据集上传到Hub，也未编写数据卡。这些步骤是由Hugging Face团队完成的。
支持的任务
- Sentence Transformers 训练；用于语义搜索和句子相似性。
语言
- 英语。
数据集结构
数据集中的每个示例包含句子对，格式为字典，键为"set"，值为句子列表。第一句是一个问题，第二句是答案；因此，两个句子会很相似。
{"set": [sentence_1, sentence_2]}
{"set": [sentence_1, sentence_2]}
...
{"set": [sentence_1, sentence_2]}
这个数据集对于训练句子转换模型非常有用。请参考以下帖子，了解如何使用类似的句子对训练模型。
使用示例
使用 pip install datasets 安装?数据集库，并从Hub加载数据集：
from datasets import load_dataset
dataset = load_dataset("embedding-data/PAQ_pairs")
数据集加载为 DatasetDict 格式：
DatasetDict({
train: Dataset({
features: ['set'],
num_rows: 64371441
})
})
使用以下方法查看示例 i ：
dataset["train"][i]["set"]
数据实例
数据字段
数据拆分
数据集创建
策划理由
源数据
初始数据收集和归一化 谁是源语言的生成者？标注
标注过程 谁是标注者？个人和敏感信息
使用数据的注意事项
数据的社会影响
偏见讨论
其他已知限制
附加信息
数据集策划者
许可信息
PAQ QA-pairs和元数据根据 CC-BY-SA 许可。其他数据根据附带的许可文件许可。
引用信息
@article{lewis2021paq,
title={PAQ: 65 Million Probably-Asked Questions and What You Can Do With Them},
author={Patrick Lewis and Yuxiang Wu and Linqing Liu and Pasquale Minervini and Heinrich Küttler and Aleksandra Piktus and Pontus Stenetorp and Sebastian Riedel},
year={2021},
eprint={2102.07033},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
贡献
感谢 @patrick-s-h-lewis 添加了这个数据集。