表格基准

数据集描述

这个数据集是从 openML 中的各种数据集中策划出来的，旨在评估各种机器学习算法的性能。

• 存储库： https://github.com/LeoGrin/tabular-benchmark/community
• 论文： https://hal.archives-ouvertes.fr/hal-03723551v2/document

数据集概述

基准是由各种表格数据学习任务组成的，包括：

• 从数值和分类特征进行回归
• 从数值特征进行回归
• 从数值和分类特征进行分类
• 从数值特征进行分类

支持的任务和排行榜

• 表格回归
• 表格分类

数据集结构

数据拆分

这个数据集包含四个拆分（文件夹），根据任务和包含在任务中的数据集进行拆分。

• reg_num：数值特征回归的任务标识符。
• reg_cat：数值和分类特征回归的任务标识符。
• clf_num：数值特征分类的任务标识符。
• clf_cat：分类特征分类的任务标识符。

根据您想要加载的数据集，您可以通过将 task_name/dataset_name 传递给 load_dataset 的 data_files 参数来加载数据集，如以下示例所示：

from datasets import load_dataset
dataset = load_dataset("inria-soda/tabular-benchmark", data_files="reg_cat/house_sales.csv")

数据集创建

策划理由

这个数据集是为了评估树模型的性能而策划的，与神经网络进行对比。在筛选用于策划的数据集的过程中，论文中提到的条件如下：

• 多样化的列。列应对应具有不同性质的特征。这不包括每列对应不同传感器上的相同信号的图像或信号数据集。
• 非高维度。我们只保留 d/n 比率小于 1/10 的数据集。
• 未记录的数据集。我们删除信息太少的数据集。如果特征是多样化的，我们会保留具有隐藏列名的数据集。
• 独立同分布的数据。我们删除类似流数据集或时间序列的数据集。
• 真实世界的数据。我们删除人工数据集，但保留一些模拟数据集。两者之间存在微妙的区别，但我们试图保留模拟数据集是因为学习这些数据集具有实际重要性（例如 Higgs 数据集），而不仅仅是一个用来测试特定模型能力的玩具示例。
• 不过于小。我们删除特征过少（< 4）和样本过少（< 3,000）的数据集。对于仅基于数值特征的基准，我们在检查剩余的特征和样本是否足够之前删除分类特征。
• 不过于简单。如果简单模型（单个树的最大值和回归、逻辑回归或 OLS）达到的得分与默认 Resnet（来自 Gorishniy 等人[2021]）和默认 HistGradientBoosting 模型（来自 scikit learn）的得分之间的相对差异低于 5%，则删除数据集。其他基准使用不同的指标来删除过于简单的数据集，例如删除被单个决策分类器完全分开的数据集[Bischl 等人，2021]，但这忽略了数据集间不同的贝叶斯率。由于树集合优于简单树和逻辑回归[Fernández-Delgado 等人，2014]，简单且强大模型的接近分数表明我们已经接近最佳得分。
• 非确定性。我们删除目标是数据的确定函数的数据集。这主要意味着删除类似扑克和国际象棋等游戏的数据集。事实上，我们认为这些数据集与大多数真实世界的表格数据集非常不同，应该单独研究。

来源数据

数值分类

分类分类

数值回归

分类回归

数据集策划者

Léo Grinsztajn，Edouard Oyallon，Gaël Varoquaux。

许可信息

[需要更多信息]

引用信息

Léo Grinsztajn，Edouard Oyallon，Gaël Varoquaux。Why do tree-based models still outperform deeplearning on typical tabular data？. NeurIPS 2022 Datasets and Benchmarks Track，Nov 2022，New Orleans，United States. ffhal-03723551v2f