机器学习手册

外观

树模型与集成学习

本页速览 决策树如何分裂？随机森林为什么降方差？GBDT 为什么降偏差？本文系统讲解从单棵决策树到 XGBoost、LightGBM 的完整脉络，并给出实战代码与特征重要性、SHAP 解释。

树模型与集成学习 ​

在深度学习横扫图像、语音、文本的今天，有一个反直觉的事实：在 Kaggle 这类以表格数据为主的竞赛里，获胜方案的绝对主力依然是树模型家族——XGBoost、LightGBM、CatBoost。它们看起来不"智能"、不"前沿"，却靠着训练快、稳定性好、几乎不需要特征缩放、调参容错率高、性能极强这五条，成为工业界表格数据的事实标准。这个判断在什么是机器学习中已经预告过，本文把它展开讲透。

本文的叙事线是"三次补课"：单棵决策树（原理与软肋）→ 集成学习（Bagging 降方差、Boosting 降偏差）→ 工程化（XGBoost/LightGBM 把算法做到能工业化）。最后给出可直接运行的实战代码，以及从"预测对"到"说清为什么"的可解释性工具。

一、决策树：把"如果…那么…"变成模型 ​

1. 一棵树就是一组嵌套的 if-else ​

决策树（Decision Tree）是思想最简单、也最古老的机器学习模型之一：它对特征空间做递归划分，每个叶子节点给出一个预测。假设我们要预测"是否下雨"，特征有"湿度""是否有云"：

                 湿度 < 70% ?
                 /           \
            是（走左）      否（走右）
               │                │
            "不下雨"      是否有云？
                           /       \
                        "下雨"    "不下雨"

建树的过程，就是反复回答一个问题：用哪个特征、在哪个阈值上切一刀，能让划分后"更纯"。这个"切"的操作叫分裂（split），递归进行下去，树就长出来了。CART（Classification And Regression Tree）是今天所有树模型的地基，它有两个约束：二叉树（每步只切一刀）、支持分类与回归两类任务。

2. 分裂准则：信息增益与基尼系数 ​

"更纯"要有量化标准。假设当前节点 D 有 K 类样本，各类占比为 p₁…p_K，两个最经典的纯度度量：

度量公式直觉使用方
信息熵H(D) = −Σₖ pₖ·log₂ pₖ不确定性：纯节点熵为 0，均匀节点熵最大ID3 / C4.5
基尼系数Gini(D) = 1 − Σₖ pₖ²随机抽两个样本类别不同的概率CART

对特征 A 进行分裂后的收益，叫信息增益（Information Gain）：

IG(D, A) = H(D) − Σ_v  |D_v|/|D| · H(D_v)

其中 v 遍历 A 的每个取值对应的子节点。信息增益 = "分裂前的不确定性" 减去 "分裂后按样本量加权的剩余不确定性"，越大说明 A 越能区分类别。

例子：数据集有 14 个样本，9 正 5 负。H(D) = −(9/14)log₂(9/14) − (5/14)log₂(5/14) ≈ 0.940。若按特征"风力"分裂：8 个样本风力为弱（其中 6 正 2 负），6 个为强（其中 3 正 3 负），则加权剩余熵 = (8/14)·0.811 + (6/14)·1.000 ≈ 0.892，信息增益 ≈ 0.940 − 0.892 = 0.048。按同样方法算出所有候选特征的信息增益，取最大者优先分裂。

两个细节值得注意。一是信息增益偏向取值多的特征（比如"身份证号"这种每个值唯一的特征增益爆炸），C4.5 因此改用增益率（信息增益除以固有值 Intrinsic Value），CART 则干脆只用二叉分裂来抑制这个毛病。二是基尼系数与熵在排序上高度一致，但基尼不用算对数，计算更快——这就是 XGBoost 等现代实现偏好它的原因：单次分裂的微小差异，在几百万行数据、几十轮迭代下会累积成巨大的速度差。

3. 剪枝：对抗过拟合的第一道防线 ​

决策树的过拟合是结构性的：只要继续分裂下去，树总能做到训练集 100% 准确（每个叶子只剩一类样本）。一棵把所有噪声都记下来的树，和过拟合与正则化里描述的"背答案的模型"完全同构。对策是剪枝（Pruning），分两种：

  • 预剪枝（Pre-pruning）：在生长时提前叫停。典型手段：限制 max_depth（最大深度）、min_samples_leaf（叶子最少样本数）、min_samples_split（分裂所需最少样本数）、分裂增益低于阈值则停止。预剪枝快，但"早停"可能牺牲后续本可获益的分裂（近视问题）。
  • 后剪枝（Post-pruning）：先长成完整树，再自底向上剪掉对泛化无益的子树。CART 用的是代价复杂度剪枝（Cost-Complexity Pruning）：定义目标
R_α(T) = R(T) + α · |T_leaf|

其中 R(T) 是训练误差，|T_leaf| 是叶子数，α 是惩罚系数。调大 α 就在"精度"与"树的大小"之间做交换，最后用验证集选出最优的 α 对应的子树。sklearn 中的 ccp_alpha 参数就是这个机制。

一个关键直觉

树的深度和叶子数就是它的正则化强度旋钮。深度 1 的树（stump）是"几乎欠拟合"的弱模型，深度 20 的树是"几乎过拟合"的强模型。这个从欠拟合到过拟合的连续谱，是后面理解集成学习的钥匙——Bagging 集成很多"过拟合倾向"的树，Boosting 逐棵逼近"欠拟合"的目标。

4. 单棵树的优势与软肋 ​

先看优点，它们正是树模型后来称霸表格数据的种子：

优势说明
无需特征缩放分裂只看特征取值之间的相对顺序，单调变换（log、开方）不改变树的结构
天然处理非线性与交互不需要像线性模型那样手动构造特征交叉项，树自己会切出"年龄>30 且 收入<5 万"这种高阶组合
可解释一条从根到叶的路径就是一条人类可读的规则
容忍缺失值与异常值异常值只会影响某个切分点的位置；缺失值可落在多数侧

但单棵树有两个致命弱点，直接决定了它的历史命运：

  • 高方差：训练集换一批，树结构可能面目全非——因为分裂是"赢者通吃"的贪婪选择，根节点的一票决定整棵树的走向。单棵树几乎必然过拟合（测试误差远高于训练误差）。
  • 表达能力受限于坐标轴切分：斜的决策边界需要很多棵小树堆出来的阶梯来近似，单棵树对这种边界是"锯齿状"逼近。

1990 年代中期之前，人们对付"高方差"的办法是剪枝剪到很浅；代价是模型偏弱。直到 Breiman 与 Freund 分别提出两条路线，这个问题才被彻底解决——它们就是第二节的 Bagging 与第三节的 Boosting。

二、Bagging 与随机森林：把"不稳"集成成"稳" ​

1. 方差从哪来 ​

如果用一个比喻：单棵深树的预测误差 = 系统性的"偏" + 随机性的"抖"。剪枝能减少"偏"，但"抖"（对训练集的具体样本敏感的波动）依然很大。统计上，随机变量的方差随样本而抖动，但多个独立随机变量的平均值，方差会显著变小——这正是 Bagging 的全部思想。

2. Bagging：Bootstrap 聚合 ​

Bagging = Bootstrap Aggregating（Breiman, 1996），流程只有三步：

原始数据集 D（n 个样本）
   │
   ├─① Bootstrap 抽样：有放回地抽 n 个样本，得到 T 份新数据集 D₁…D_T
   │   （每份 D_t 平均含约 63.2% 的原始样本，其余是重复样本）
   ├─② 并行训练：在每份 D_t 上独立训练一棵（深）树 T_t
   └─③ 聚合：分类问题投票，回归问题取平均

注意：Bagging 里每棵树故意不做剪枝——让它们充分过拟合各自的 Bootstrap 样本。正因为每棵树"过拟合的地方"不同（不同抽样），它们的错误在平均时被抵消，而不是被放大。

3. 随机森林：再随机一层 ​

Bagging 有个漏洞：如果某个特征特别强，所有树都会在同一个特征上优先分裂，于是树与树高度相关——"独立变量平均降方差"的前提就崩了。Breiman 在 2001 年的**随机森林（Random Forest）**论文里补上关键一刀：每次分裂只考虑随机抽取的 m 个特征子集。分类任务默认 m = √p，回归默认 m = p/3。

随机森林 = Bagging（样本维度随机） + 特征子集（特征维度随机）

分裂时:  从全部 p 个特征中随机抽 m 个，只在这 m 个里找最优切分

这一刀的意义是强制去相关：即使存在一个"完美特征"，每棵树也只能在部分分裂中用到它，其余分裂必须依赖其他特征，于是树与树的差异性被刻意放大。结合上一节公式看：

T 棵树平均的方差  =  ρ·σ²  +  (1−ρ)·σ²/T
                   └──────────┬──────────┘
                    相关项（去相关后变小）  平均项（T 变大变小）

即使 T 趋于无穷，第一项 ρ·σ² 依然存在——所以随机森林的最终误差上限由树间相关性 ρ 决定。特征随机化、Bootstrap 抽样，都是在压低 ρ。

4. 袋外误差：免费的交叉验证 ​

Bootstrap 抽样时，每份训练集平均漏掉约 36.8% 的样本（n→∞ 时为 1/e）。袋外样本（Out-of-Bag, OOB）就是"这棵树没见过的样本"。用每棵树的 OOB 样本评估该树，再把所有树的评估结果聚合，就得到一个不用留验证集、几乎免费的测试误差估计——它和留出法的结果高度一致，sklearn 中 oob_score=True 即可启用。这是随机森林的隐藏福利：训练完成，验证集误差也顺带算好了。

5. 随机森林的边界 ​

随机森林把"单棵树的高方差"压住了，换来的是稳健：几乎不需要调参、对噪声免疫、天然并行（每棵树互不依赖）。但它有两个瓶颈：

  • 只能降方差，不降偏差：如果单棵树的偏差就大（比如用树桩），集成再多棵也救不回来——"平均一个系统性偏差"还是那个偏差。
  • 树的表达力有上限：随机森林的每棵树都是满深度的，但预测精度被"平均"机制锁在了某个天花板。

要突破天花板，需要换一种思路：不平均，而是接力。这就是 Boosting。

三、Boosting：把"弱"的积少成多 ​

Bagging 是"三个臭皮匠各干各的，最后投票"；Boosting 是"一个学生反复刷错题"——每一轮都聚焦上一轮做错的样本，把一个个弱模型串成强模型。

1. AdaBoost：给错题加权 ​

AdaBoost（Adaptive Boosting，Freund & Schapire, 1997）是第一个被广泛使用的 Boosting 算法：

① 初始化样本权重 wᵢ = 1/n
② for t = 1..T:
     a. 在加权样本上训练弱分类器 h_t（通常是一层树桩）
     b. 计算加权错误率 ε_t = Σ wᵢ·I(h_t(xᵢ)≠yᵢ)
     c. 计算该分类器的投票权重 α_t = ½·ln((1−ε_t)/ε_t)
     d. 更新样本权重：分对的样本权重 × e^(−α_t)，分错的 × e^(α_t)，再归一化
③ 输出: H(x) = sign( Σ_t α_t · h_t(x) )

两个直觉要点：① 分错样本的权重每轮被放大，逼下一棵树专攻"硬骨头"；② 每个弱分类器按 α_t 加权投票，准确率越高的树话语权越大。树桩（max_depth=1）预测能力极弱（正确率略高于 50%），但 AdaBoost 用几百个树桩接力，误差可以指数级下降到任意小——这是理论上的强有力结果，也让"弱学习器可提升为强学习器"成为 Boosting 的奠基性定理。

2. 统计视角：加性模型与指数损失 ​

1999–2000 年，Friedman、Hastie、Tibshirani 在《Additive Logistic Regression》中证明了一个深刻结果：AdaBoost 是在用前向分步算法（Forward Stagewise Additive Modeling）拟合一个加性模型，其损失是指数损失 L(y, f) = e^(−y·f)。也就是说，Boosting 不是一堆没有道理的启发式，而是一种在函数空间里做逐步优化的贪心算法。

Boosting 统一视角:

目标: 找 F(x) = Σ_t α_t·h_t(x)  使  总损失 Σᵢ L(yᵢ, F(xᵢ)) 最小
方法: 前向分步 —— 每轮只优化新加的那一棵树 h_t，前面已经定好的不动

3. GBDT：用负梯度拟合"残差" ​

指数损失对分类很漂亮，但对回归和自定义损失不友好。Friedman 2001 年把上面的框架推广成梯度提升决策树（GBDT, Gradient Boosting Decision Tree）：

每轮做三件事:
① 计算当前模型 F_{t-1} 在样本 i 上的"伪残差"
       rᵢ = −∂L(yᵢ, F(xᵢ)) / ∂F(xᵢ)      ← 损失对模型输出的负梯度
② 用一棵回归树拟合伪残差 rᵢ（不是拟合 yᵢ！）
③ F_t(x) = F_{t-1}(x) + η · h_t(x)        ← 学习率 η 缩放后加入

把 GBDT 和优化与梯度下降里学的梯度下降对比：普通梯度下降是在参数空间里沿负梯度更新参数 w；GBDT 是在函数空间里沿负梯度更新函数 F 本身——"每棵树 = 一次函数空间中的梯度步"。伪残差就是当前模型"还欠着的账"，树拟合它，就是偿还这笔账。

三个必须知道的 GBDT 细节：

  • 学习率 η（shrinkage）：每棵新树只贡献 η 的幅度（典型 0.01~0.1）。学习率越小，同样的总步数下过拟合越小，但要更多的树。学习率与树数是一对必须一起调的参数。
  • 子采样（subsample）：每轮只随机用一部分样本训练下一棵树，引入随机性防过拟合——这是"行采样"，与随机森林的机制互补。
  • 损失函数可插拔：平方损失（L2）、绝对损失（L1）、Huber、LogLoss、自定义均可，这让 GBDT 能优雅地处理回归、分类、排序（LambdaMART 就是 GBDT 用于学习排序的著名变体）。

4. 为什么 Boosting 降的是偏差 ​

现在把两大流派放在一起对比，这是理解集成学习的核心图景：

Bagging / 随机森林Boosting / GBDT
集成方式并行、投票/平均串行、逐步累加
每棵树的目标各自拟合一份 Bootstrap 样本拟合前一轮的"残差/梯度"
单棵树的配置深树、不剪枝浅树、弱模型（防止单步过拟合）
主要降低方差（去相关 + 平均）偏差（逐步逼近目标函数）
主要风险树间相关过高时提升有限对噪声敏感（残差里的噪声也会被拟合）

Boosting 降偏差的原因很直观：加性模型 F(x) = Σ α_t·h_t(x) 的表达能力随 T 增大而增强——每次都在往"当前还欠着的地方"补一棵树，只要步幅小、步子多，就能逼近任意复杂的目标函数。代价是它不再天然抗噪：如果某个样本是标注错误，残差里全是噪声，后续树会拼命拟合噪声。这解释了工业界的两条经验：随机森林对脏数据更鲁棒，GBDT 在数据干净时精度上限更高。

Boosting 对噪声敏感

一个经验法则：当数据集有明显噪声或小样本时，随机森林常常优于 GBDT；当数据量大、干净、特征信号强时，GBDT 上限更高。所以别迷信"XGBoost 一定最好"，先跑随机森林做基线永远是更稳的第一步。

四、XGBoost 与 LightGBM：把 Boosting 工程化 ​

GBDT 在 2000 年代性能优异但训练极慢——每一轮都要扫描全部样本、在全部特征的全部候选切分点上计算增益。2014 年之后，XGBoost 与 LightGBM 用系统性的工程改进把 GBDT 从"能跑"变成"一天训练几亿样本"。它们之间的竞争，是机器学习工程史上最精彩的一段。

1. XGBoost：四项关键改进 ​

陈天奇等人 2016 年发表的 XGBoost（arXiv:1603.02754）把 GBDT 全面工程化：

  • 二阶泰勒展开 + 正则化项：把目标函数对每棵树的输出做二阶展开（用梯度 gᵢ 和海森矩阵 hᵢ），并显式加入正则项 γ·T + ½λ·‖w‖²（T 为叶子数、w 为叶子权重）。二阶信息让分裂增益计算更精准，正则项把"树复杂度的代价"直接写进了目标函数——这与过拟合与正则化的思想一脉相承。
  • 近似分裂与加权分位数草图：不遍历特征的所有取值，而是按二阶梯度的加权分位数选候选切分点。对分布极不均匀的特征（如"点击量"）效果显著。
  • 稀疏感知分裂（Sparsity-aware split）：显式学习"缺失值往哪边分"，缺失值不再需要预处理填数。
  • 列块（Column Block）与缓存优化：数据按特征预排序、分块压缩存储，分裂时逐块并行扫描——这是 XGBoost 训练速度的关键来源。

2. LightGBM：三个更激进的工程 ​

微软 2017 年的 LightGBM（arXiv:1706.08374）在"快"这件事上走得更远：

  • 直方图算法（Histogram-based）：把连续特征离散成 256 个 bin，只在 bin 边界上找切分点。训练复杂度从 O(样本数×特征数) 降到 O(bin数×特征数)，且直方图可以累加复用，内存占用从"每个样本一个浮点"降为"每个样本一个字节"。代价是切分点精度损失（bin 内不再细分）——实践中通过增加 bin 数可以忽略不计。
  • GOSS（Gradient-based One-Side Sampling）：训练时只保留梯度大的样本（前 a%），再从梯度小的样本里随机抽 b%，并给它们乘以系数 (1−a)/b 以保持分布。直觉：梯度大 = 残差大 = 对模型提升最有用，小梯度样本抽样即可。在保证精度的前提下把每轮样本量砍到十分之一级别。
  • EFB（Exclusive Feature Bundling）：把互斥特征（几乎不同时为非零的特征，如独热编码产生的列）捆绑成一张直方图，减少特征维度，专门解决高维稀疏数据的计算浪费。
  • Leaf-wise 生长：XGBoost 用 Level-wise（逐层生长），LightGBM 用 Leaf-wise——每次只分裂"增益最大的叶子"，同样的树数下精度更高，但也更容易过拟合，因此 LightGBM 必须搭配 max_depth 或 min_data_in_leaf 约束。

3. 选型对比 ​

维度XGBoostLightGBM
分裂算法预排序 + 精确/近似分位数直方图（默认 256 bin）
生长策略Level-wise（逐层）Leaf-wise（按增益）
对大数据/高维内存开销大，但精度更稳明显更快、更省内存
小样本/稀疏数据常更稳注意配 min_data_in_leaf 防过拟合
生态全平台、早、部署工具全训练快，早停/回调友好
其他自带 booster='dart'、支持 GPUGOSS/EFB、原生分类特征支持

实用建议：数据量几十万以内、追求稳定，两者皆可（XGBoost 略稳）；几百万行以上、算力紧张，LightGBM 是默认选择；此外 CatBoost（顺序目标编码处理类别特征）在类别特征多的场景也值得一试。框架与生态的更多对比见框架对比。

五、为什么树模型是表格数据的霸主 ​

把逻辑链收拢：为什么偏偏是树，而不是深度学习，统治表格数据？核心原因有四条。

① 表格数据的信号是"稀疏的分段结构"，树的归纳偏置正好匹配。 表格数据往往由离散的、分段的、非线性强的规则生成（"30 岁以下且信用分>700 才放贷"），这正是"轴对齐切分"的树最擅长表达的结构。而深度学习默认的偏置是"平滑连续的函数 + 可学习的特征层级"，用在表格上要么浪费容量、要么需要极强的数据量支撑。

② 免缩放、免复杂预处理。 神经网络的梯度下降要求特征同量纲，树只看排序。一个经验事实：同一份表格数据，树模型从"原始数据"到"好结果"的工程开销，通常比深度学习小一个数量级。预处理与归一化的讨论见特征工程。

③ 小数据、高噪声场景更鲁棒。 表格数据的样本量往往只有几千到几十万，而深度学习是"数据饥渴"的——它用参数数量换取表达力，参数越多越需要数据喂。树模型加集成后参数相对少、结构相对稳，在数据规模不足时更容易避开过拟合。

④ 工程体验的成熟度。 XGBoost/LightGBM 有内建的交叉验证、早停、缺失值处理、特征重要性，开箱即用；而训练一个像样的表格神经网络要解决特征 embedding、归一化层、学习率调度、随机种子稳定性等一系列问题。

对比维度树模型（RF/GBDT）深度学习（MLP/TabNet 等）
特征缩放不需要通常必须
数据量需求小到中大
类别/缺失值处理内建需手工
训练成本低~中高（尤其调参）
可解释性强（重要性/SHAP）弱（需专门工具）
非结构化数据（图/文/音）基本不可用绝对主场

需要强调的是，这一节讨论有明确的边界：表格数据。一旦数据是图像、文本、语音、图结构，树模型完全不是深度学习的对手——它们的"分段结构先验"在这些数据上失效，而深度学习的层级表征才是正解。两条路各自适用，详见深度学习基础与线性模型（线性模型 vs 树的取舍）。2020 年代的趋势是"树 + 深度学习"混合：用树模型做表格基线，用深度学习处理非结构特征，再集成。

六、实战：RandomForest 与 LightGBM 完整流程 ​

以 sklearn 内置的乳腺癌分类数据为例，演示从训练到特征重要性可视化的完整闭环。先装依赖：pip install scikit-learn lightgbm matplotlib pandas。

1. 数据准备与基线 ​

python
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
import pandas as pd

data = load_breast_cancer()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)
print(f"训练样本: {X_train.shape[0]}, 测试样本: {X_test.shape[0]}, 特征数: {X_train.shape[1]}")

注意 stratify=y 保证类别比例在训练/测试集一致——分类任务里这是基本功，详见模型评估与验证。

2. 随机森林 ​

python
rf = RandomForestClassifier(
    n_estimators=500,        # 树的数量
    max_features="sqrt",     # 每步随机特征数 m = √p（分类默认）
    min_samples_leaf=2,      # 预剪枝：叶子最少 2 个样本
    n_jobs=-1,               # 并行（Bagging 天然可并行）
    random_state=42,
    oob_score=True,          # 免费的袋外误差
)
rf.fit(X_train, y_train)

print(f"训练集准确率: {rf.score(X_train, y_train):.4f}")
print(f"测试集准确率: {rf.score(X_test, y_test):.4f}")
print(f"袋外误差(OOB): {rf.oob_score_:.4f}")   # ≈ 测试集准确率，无需单独验证集

训练集准确率接近 1、测试集约 0.96 是很正常的随机森林画像——训练集 100% 不是坏事，重要的是 OOB 与测试集稳定。这一步就能拿到的特征重要性，直接画图：

python
import matplotlib.pyplot as plt

importances = pd.Series(rf.feature_importances_, index=X.columns)
importances.sort_values().tail(15).plot.barh(
    figsize=(9, 7), title="RandomForest 特征重要性（基于平均杂质减少）"
)
plt.tight_layout()
plt.savefig("rf_importance.png", dpi=120)

3. LightGBM ​

python
import lightgbm as lgb

lgb_model = lgb.LGBMClassifier(
    n_estimators=2000,        # 配合 early_stopping 给足预算
    learning_rate=0.05,       # shrinkage：步长小，防过拟合
    num_leaves=31,            # Leaf-wise 的核心复杂度旋钮（≈2^5）
    min_child_samples=20,     # 必配：Leaf-wise 的防过拟合保险
    subsample=0.8,            # 行采样
    colsample_bytree=0.8,     # 列采样
    random_state=42,
)
lgb_model.fit(
    X_train, y_train,
    eval_set=[(X_test, y_test)],
    callbacks=[lgb.early_stopping(50, verbose=False)],  # 50 轮无提升即停
)
print(f"LightGBM 测试集准确率: {lgb_model.best_score_['valid_0']['binary_logloss']:.4f}")

early_stopping 是 GBDT 系列最有价值的工程特性：树的数量不用手工定，模型自己决定何时停止。LightGBM 的特征重要性有两种口径，务必区分：

python
# ① "split"：该特征被用来分裂的次数（sklearn 默认口径）
# ② "gain"：该特征带来的平均信息增益（更反映"贡献度"）
gain_imp = pd.Series(
    lgb_model.booster_.feature_importance(importance_type="gain"),
    index=X.columns,
).sort_values()
gain_imp.tail(15).plot.barh(figsize=(9, 7), title="LightGBM 特征重要性（按 gain）")
plt.tight_layout()
plt.savefig("lgb_gain_importance.png", dpi=120)

超参数起点

新手上手一套保守起点：learning_rate=0.05 + n_estimators 配 early_stopping + num_leaves≈31 + min_child_samples≈20，先跑通再谈调优。调优的系统方法见超参数调优实践，常见翻车点见常见陷阱。

4. 特征重要性的三种口径 ​

口径定义风险
split 次数特征被选中分裂的频次偏爱类别多/取值多的特征
gain 均值分裂带来的平均信息增益偏向在浅层频繁使用的高频特征
permutation打乱特征后误差上升多少计算贵，且特征高度相关时相互抵消

三者都不完美，它们的共同缺陷是只看"单特征"的边际贡献，忽略交互。要更诚实的归因，就需要第七节的 SHAP。

七、特征重要性与 SHAP：让树模型开口说话 ​

树模型的可解释性并不止于"一条规则"。现代实践中，SHAP（SHapley Additive exPlanations） 是表格模型解释的事实标准（Lundberg & Lee, 2017）。

SHAP 的核心是把每个预测解释为一组可加性归因：

f(x) = φ₀ + Σⱼ φⱼ        # 预测值 = 基线值 + 各特征贡献之和

其中 φⱼ 是特征 j 的 SHAP 值，源自博弈论中的 Shapley 值：在合作博弈里，把"预测"看作所有特征合作的产出，每个特征分得的"公平份额"由它在所有可能特征子集上的边际贡献平均决定。公平性体现在三条公理上——每个特征的贡献对称（同等贡献同分）、可加（总和等于预测差）、剔除为零（无关特征贡献为 0）。

对树模型来说存在一个巨大的工程红利：TreeSHAP 可以在多项式时间内精确计算所有样本的 Shapley 值，不必像黑箱模型那样做近似采样。于是 SHAP 给了我们四层解释：

python
import shap

# 用训练好的 LightGBM 构建 TreeExplainer（对树模型是精确解）
explainer = shap.TreeExplainer(lgb_model)
shap_values = explainer.shap_values(X_test)   # 形状: (样本数, 特征数)

# ① 全局视角：蜂群图——每个点是一个样本，颜色是特征取值高低
shap.summary_plot(shap_values, X_test, max_display=12)

# ② 单样本视角：力场图——解释"为什么这个病人被判为恶性"
shap.force_plot(explainer.expected_value, shap_values[0], X_test.iloc[0])

API 版本提示

新版 shap（≥0.45）将 summary_plot / force_plot 标记为弃用，推荐改用 shap.plots.beeswarm(shap_values) 与 shap.plots.force(...)。本文保留经典写法以便与网上大多数教程对得上。

SHAP 能回答特征重要性回答不了的问题：

  • 方向：某特征对预测"推高"还是"压低"（随机森林的 gain 重要性无方向）；
  • 非线性：特征取值低时推高、中间区间压低——画出每个特征的 SHAP 依赖图一目了然；
  • 交互：SHAP 依赖图按交互特征着色，可发现"收入的影响只在年龄 > 40 时显著"这类二阶结构。

SHAP 值与随机森林/GBDT 的粗粒度重要性配合使用，是现代表格建模的标准解释组合。完整方法论与公平性讨论见可解释性与公平性；术语对照见术语表。

SHAP 不是因果

SHAP 回答的是"模型把预测归因于哪些特征"，不等于"改变这个特征就能改变结果"——它是在模型内部做归因，不涉及数据的真实因果结构。做因果推断需要专门的实验设计，不能拿 SHAP 值当因果效应。

八、权衡与取舍 ​

把全文的关键抉择浓缩成一张决策清单：

  • 单棵决策树 vs 集成：除非你需要极小的模型、极快的单次推理（如嵌入式规则），否则一律集成。单棵树是理解工具，不是主力模型。
  • 随机森林 vs GBDT：数据脏、样本少、要稳 → 随机森林；数据大、干净、要精度上限 → GBDT 系列。建议先跑随机森林拿基线，再决定是否升级。
  • XGBoost vs LightGBM：数据量小时 XGBoost 往往更稳；数据量大时 LightGBM 更快更省内存。两者精度差异通常很小，工程约束（部署环境、类别特征、算力）常常是决定因素。
  • 预测精度 vs 可解释性：树模型家族的优势恰恰是两者可以兼得——精度够高，且有特征重要性、SHAP、路径规则三层解释。这也是它在风控、医疗、信贷等强监管场景长盛不衰的原因。
  • 树 vs 深度学习：表格数据先树；非结构化数据上深度学习；预算充足时两者集成往往能再吃几个百分点。切忌"无脑上神经网络"。
  • 过拟合防护优先级：Boosting 优先 learning_rate + early_stopping + min_child_samples；随机森林优先 max_features 与树数；无论哪个，OOB / 早停 / 交叉验证 三件套必须有一个来客观报告误差。

一句话总结：树模型家族的成功不是"某个算法的胜利"，而是**一个朴素归纳偏置（轴对齐的递归切分）+ 两种互补的集成机制（并行降方差、串行降偏差）+ 两个把工程做到极致的实现（XGBoost/LightGBM）**三者合力的结果。理解这条主线，你就理解了表格机器学习的大半江山。

延伸阅读 ​

参考资料 ​