"tasksource-instruct-v0" (TSI) 数据集卡片

从 tasksource 个数据集中重新划分的多任务指令调优数据集。每个任务的数据集大小被限制在 30,000 个示例以促进任务的多样性。

!pip install tasksource, pandit
import tasksource, pandit
df = tasksource.list_tasks(instruct=True).sieve(id=lambda x: 'mmlu' not in x)
for tasks in df.id:
  yield tasksource.load_task(task,instruct=True,max_rows=30_000,max_rows_eval=200)

https://github.com/sileod/tasksource

与 flan-v2 的区别

TSI 是以 HuggingFace 为中心的，基于 tasksource 的数据集合，可以扩展到更多的示例。tasksource 专注于区分性任务（分类/标记分类/多项选择）。其区分性任务的覆盖范围优于 flan。任务列表 here 。不在 Flan V2 中的任务示例包括 Dynasent（对抗情感分析），Dynahate（对抗性仇恨言论检测），discriminative babi，epistemic logic，ruletaker，veridicality，discourse relation prediction，以及许多有趣的自然语言推理数据集...

TSI 的答案大多是对多项选择问题的简短答案，但它们针对着广泛的问题。TSI 是基于推理的密集型任务，而一些 flan 任务则不一定是具体的（例如，根据前提生成假设的 NLI）。我们明确提到答案不应包含解释，以防止在使用其他指令数据集时，使模型偏向于简短答案。

可以将 flan-v2 和 tasksource-instruct 结合起来以提高 LLM 的推理能力。

联系和引用方式:

damien.sileo@inria.fr

https://arxiv.org/abs/2301.05948

@article{sileo2023tasksource,
  title={tasksource: Structured Dataset Preprocessing Annotations for Frictionless Extreme Multi-Task Learning and Evaluation},
  author={Sileo, Damien},
  url= {https://arxiv.org/abs/2301.05948},
  journal={arXiv preprint arXiv:2301.05948},
  year={2023}
}