跳到主要内容

第 8 章 基于树的方法

对应原书 Chapter 8: Tree-Based Methods。

本章定位​

本章介绍决策树及其集成方法。树模型直观、能处理非线性和交互，但单棵树不稳定，因此需要 Bagging、随机森林、Boosting 等方法。

阅读前问题​

  • 决策树如何把特征空间切分成区域？
  • 回归树和分类树的分裂准则有何不同？
  • 为什么单棵树容易不稳定？
  • Bagging、随机森林、Boosting 的核心差异是什么？

章节骨架​

  • 决策树基础
  • 回归树
  • 分类树
  • 树模型与线性模型比较
  • Bagging
  • 随机森林
  • Boosting
  • BART
  • Python 树模型实验

核心概念​

  • 递归二分
  • 剪枝
  • 分类树
  • 回归树
  • Bootstrap 聚合
  • 随机特征选择
  • Boosting
  • 学习率
  • 变量重要性

公式与推导​

重点补充：

  • 回归树残差平方和准则
  • 分类树基尼指数
  • 交叉熵
  • Bagging 平均思想
  • Boosting 逐步拟合残差思想

图表与直觉​

图片放在：

assets/images/ch08/

建议补充：

  • 特征空间切分图
  • 决策树结构图
  • Bagging、随机森林、Boosting 对比图
  • 变量重要性图

Python 实验​

记录：

  • 分类树拟合
  • 回归树拟合
  • Bagging
  • 随机森林
  • Boosting
  • BART

习题与思考​

  • 为什么随机森林要在每次分裂时只看部分变量？
  • Boosting 为什么容易受学习率影响？
  • 树模型相对线性模型的可解释性强在哪里，又弱在哪里？

与前后章节联系​

树模型是非线性监督学习的重要分支。第 9 章会转向另一类基于间隔和核函数的分类方法。

待补充​

  • 整理集成树模型对比表。
  • 补充剪枝直觉。
  • 复现实验中的变量重要性图。