模型评估和性能

1. ROC 曲线

• 原因：因为这展示了真正例率（TPR）和假正例率（FPR）之间的权衡。
• 影响：帮助决定最佳阈值。
• 视觉提示：比较好模型与坏模型的 ROC 曲线。

• X 轴：假阳性率 (FPR)
• Y 轴：真实阳性率 (TPR)
• 蓝线：ROC 曲线
• 灰色虚线：随机分类器基线

2. 准确率-召回率曲线

• 原因：强调精度和召回率之间的平衡，特别是对于不平衡的数据集。
• 影响：专注于最大限度地减少假阳性或假阴性。
• 视觉提示：叠加不同模型的曲线进行比较。

• X 轴：召回率（发现的真正例的比例）
• Y 轴：准确率（正确预测的比例）
• 蓝线：PR 曲线
• 灰色虚线：随机基线（基于类别分布）

3.混淆矩阵

• 原因：提供真/假阳性和阴性的详细分类。
• 影响：指出具体模型的弱点。
• 视觉提示：使用热图使其更加直观。

• 真正例 (TP)：正确预测的正例
• 假阳性（FP）：错误预测的阳性
• 假阴性（FN）：错误预测的阴性
• 真阴性（TN）：正确预测的阴性

4. 收益和提升图表

• 原因：衡量模型对预测的排名与随机排名相比有多好。
• 影响：有助于确定最重要的预测的优先顺序。
• 视觉提示：使用累积增益来解释更好的决策。

左侧——累计收益图：

• X 轴：占总人口的百分比
• Y 轴：发现阳性病例的累计百分比
• 蓝线：模型性能
• 灰色虚线：随机基线

右侧——提升图：

• X 轴：占总人口的百分比
• Y 轴：提升值（比随机好多少倍）
• 蓝线：模型升力
• 灰色虚线：随机基线（1.0）

5.学习曲线

• 原因：显示一段时间内训练和验证集上的表现。
• 影响：诊断欠拟合或过度拟合。
• 视觉提示：突出显示曲线汇聚/发散的位置。

• X 轴：训练示例的数量
• Y 轴：模型得分（0 到 1 范围）
• 蓝线：训练分数
• 红线：验证分数

6. 校准曲线

• 原因：评估预测概率与实际结果的匹配程度。
• 影响：确保预测可信。
• 视觉提示：对角线代表完美校准。

如何阅读：

• • X 轴：模型的预测概率
• • Y 轴：实际观察到的频率
• • 灰色虚线：完美校准（预测 = 观察）
• • 蓝线：模型的校准曲线
• • 对角线上方的点：模型信心不足
• • 对角线下方的点：模型过于自信
• X 轴：训练示例的数量
• Y 轴：模型得分（0 到 1 范围）
• 蓝线：训练分数
• 红线：验证分数

7.AUC（曲线下面积）

AUC解释：

• • AUC = 1.0：完美模型
• • AUC = 0.5：随机模型
• • AUC > 0.8：良好模型
• • 蓝色阴影区域显示 AUC

模型性能：

当前 AUC：0.667

这表明模型性能较差

8. R 平方

• 原因：解释模型捕获了多少数据差异。
• 影响：简化回归模型评估。
• 视觉提示：将 R 平方值与残差图配对以获得更深入的见解

• R² 越接近 1 表示拟合度越高

9.均方误差（MSE）

• 原因：测量预测值和实际值之间的平均平方差。
• 影响：量化错误的大小。
• 视觉提示：使用条形图比较不同模型的误差。

右图：

• 每个条形图显示预测误差
• 高于 0：预测过高
• 低于 0：低估

10.AUC（曲线下面积）

• 原因：衡量模型区分正类和负类的效果。
• 影响：更高的 AUC 意味着更好的区分度；有助于比较模型或设置阈值。
• 视觉提示：绘制 ROC 曲线，并将模型与 AUC 分数进行比较（分数越高越好）。

了解AUC：

• 蓝色阴影区域显示 AUC 值 = 0.667
• 对角线表示随机预测（AUC = 0.5）
• 完美模型的 AUC = 1.0
• 对角线上方的面积越大，模型越好

11. 偏差-方差权衡图

• 原因：可视化欠拟合与过度拟合场景。
• 影响：指导对模型复杂性的调整。
• 视觉提示：对欠拟合区域和过拟合区域使用注释。

要点：

• 蓝线：偏差（随着复杂性的增加而减少）
• 绿线：方差（随着复杂性的增加而增加）
• 红线：总误差（偏差+方差）
• 最佳复杂度是总误差最小
• X 轴：模型复杂度
• Y 轴：错误
• 清晰的交叉点展现最佳的复杂性
• 总误差的特征 U 形