GBDT（梯度提升决策树）

一、直观理解：每一棵树专门修复前面所有树的“残差”

GBDT（Gradient Boosting Decision Tree）同样是加性模型：

$$F_M(x)=F_0(x)+\sum_{m=1}^{M}\nu\,h_m(x)$$

与 AdaBoost 调整样本权重不同，GBDT 每一轮拟合的是当前损失函数的负梯度（对平方损失就是残差，对 Logistic 损失就是概率空间的伪残差）。新树负责指出：“按现在的模型，每个样本还应往哪边调一点”。

学习率 $\nu$（shrinkage）让每棵树只迈小步，用更多树换取更稳的泛化。最终分类时，把 $F_M(x)$ 通过 Sigmoid/Softmax 变成概率。

可以把它想成接力改试卷：第一位老师打个底分，后面每位只改“还差的那部分”，并且每次只改一点点，避免一笔改过头。

二、适用场景与优缺点

类型	说明
适用场景	表格数据追求高精度；存在非线性与高阶交互；特征混合类型；竞赛/建模赛常用强模型；可接受较多调参。
核心优点	精度通常优于随机森林与单模型；对特征尺度不敏感；能刻画复杂函数；特征重要性可用；扩展出 XGBoost/LightGBM 等。
局限与缺点	调参维度多；训练慢于线性模型；易过拟合若树过深/轮数过多；外推弱；默认实现概率需注意校准；对纯噪声特征仍会拟合。

使用前：准备好验证集或 CV；明确损失（分类用 deviance）；从小学习率+较多树开始；与随机森林、Logistic 对照。

三、核心原理

1. 前向阶段加性建模

设损失 $L(y,F(x))$。第 $m$ 轮，对每个样本计算负梯度

$$r_{im}=-\Big[\frac{\partial L(y_i,F(x_i))}{\partial F(x_i)}\Big]_{F=F_{m-1}}$$

用回归树 $h_m$ 拟合 $\{r_{im}\}$，再线搜索或按叶节点最优步长更新：

$$F_m(x)=F_{m-1}(x)+\nu\,h_m(x)$$

2. 二分类常用 Logistic / deviance 损失

$$L(y,F)=\log\big(1+e^{-y F}\big),\quad y\in\{-1,+1\}$$

负梯度与 $y-\pi$ 相关，其中 $\pi=\sigma(F)$。

3. 正则与实现细节

• 树深、最小叶样本、子采样（stochastic GBDT）；
• 列采样；
• 学习率与早停；
• XGBoost 等还在目标中加叶子权重的 L2 惩罚与结构分数。

MATLAB 中 fitcensemble 的 LogitBoost、GentleBoost、RUSBoost 等是梯度/提升族成员；LS="bag" 则是随机森林方向。

四、关键决策

决策点	建议
NumLearningCycles	与 LearnRate 联调；小学习率配更多树
LearnRate	0.01–0.1 常用
树复杂度	MaxNumSplits 或深度 3–8 起步
子采样	行采样 0.5–0.8 常提高泛化
早停	监控验证损失，连续若干轮不降则停
不平衡	RUSBoost、类权重或阈值/SMOTE（仅训练集）
与 RF	要省心稳妥 → RF；要压榨精度 → GBDT

五、MATLAB 示例

X = [
    25 4.5 0.45;
    40 9.0 0.20;
    33 6.2 0.38;
    50 12.0 0.15;
    29 5.0 0.50;
    45 10.5 0.22;
    36 7.0 0.40;
    52 11.0 0.18;
    31 5.5 0.42;
    48 9.5 0.25
];
y = [1;0;1;0;1;0;1;0;1;0];

t = templateTree("MaxNumSplits", 4, "MinLeafSize", 1);

gb = fitcensemble(X, y, ...
    "Method", "LogitBoost", ...
    "NumLearningCycles", 60, ...
    "Learners", t, ...
    "LearnRate", 0.1);

[yhat, score] = predict(gb, X);
disp("混淆矩阵：");
disp(confusionmat(y, yhat));

% 累积损失曲线
figure;
plot(loss(gb, X, y, "Mode", "cumulative"));
xlabel("树的棵数"); ylabel("训练损失");
title("LogitBoost 训练损失");

% 交叉验证
cv = fitcensemble(X, y, "Method", "LogitBoost", ...
    "NumLearningCycles", 80, "Learners", t, ...
    "LearnRate", 0.1, "KFold", 5);
cvLoss = kfoldLoss(cv, "Mode", "cumulative");
figure; plot(cvLoss);
xlabel("树的棵数"); ylabel("CV 损失");
title("用 CV 选择提升轮数");
[~, bestM] = min(cvLoss);
fprintf("建议轮数 %d, CV loss=%.3f\n", bestM, cvLoss(bestM));

% 预测器重要性（排列法）
imp = predictorImportance(gb);
figure; bar(imp);
xlabel("特征编号"); ylabel("重要性");
title("GBDT 特征重要性");

% 随机欠采样提升（类别不平衡时）
% rus = fitcensemble(X, y, "Method", "RUSBoost", ...
%     "NumLearningCycles", 60, "Learners", t);

若环境允许调用 Python 的 XGBoost/LightGBM，赛题中也可外部训练后把预测结果写回；但论文需说明工具链。MATLAB 内 fitcensemble 已足够完成标准 GBDT 叙事。

六、如何解释结果

1. 损失曲线：训练与 CV 是否同步下降，最佳轮数在哪；
2. 学习率—树深权衡：小步长+浅树通常更稳；
3. 特征重要性：驱动预测的变量，注意共线分摊；
4. 概率分数：阈值可按业务再切；
5. 与基线对比：相对 Logistic、RF 的提升是否值得复杂度；
6. 报告：Method、轮数、LearnRate、树约束、CV、Top 特征、主要错分。

七、常见误区

1. 学习率 1.0 配很深树

步子过大，极易过拟合。

2. 只看训练损失选 $M$

必须用验证/CV 或 OOB 类估计。

3. 全数据调参再在同一数据报测试成绩

超参选择也要嵌套在验证协议内。

4. 把提升模型当因果模型

相关驱动预测，不等于干预效应。

5. 忽视校准直接谈“风险概率”

高准确率模型的概率未必可靠。

八、小结

GBDT 以损失函数的负梯度为每轮拟合目标，用收缩的回归树逐步改进加性模型，是表格数据上最强的经典方法族之一。

建模实践中：用 Logistic/RF 打底，用 GBDT 冲刺，用 CV 锁轮数与深度，用重要性与 SHAP 讲清故事。复杂度与可解释性之间的平衡，要写进论文的方法选择段落。