跳到主要内容

第 5 章 重采样方法

对应原书 Chapter 5: Resampling Methods。

本章定位​

本章讨论如何通过重复抽样来估计模型表现和参数不确定性，核心是交叉验证和 Bootstrap。

阅读前问题​

  • 为什么不能只看训练误差？
  • 验证集法、LOOCV 和 k 折交叉验证如何取舍？
  • Bootstrap 为什么能估计统计量的不确定性？
  • 重采样方法和模型选择有什么关系？

章节骨架​

  • 交叉验证
  • 验证集法
  • 留一交叉验证
  • k 折交叉验证
  • 分类问题中的交叉验证
  • Bootstrap
  • Python 重采样实验

核心概念​

  • 验证集
  • 训练集、测试集、验证集
  • LOOCV
  • k 折交叉验证
  • 估计测试误差
  • Bootstrap 样本
  • 标准误估计

公式与推导​

重点补充：

  • 验证集误差
  • LOOCV 误差
  • k 折交叉验证误差
  • Bootstrap 标准误

图表与直觉​

图片放在：

assets/images/ch05/

建议补充：

  • k 折切分示意图
  • LOOCV 与 k 折对比图
  • Bootstrap 重抽样示意图

Python 实验​

记录：

  • 验证集法
  • 交叉验证
  • Bootstrap
  • 不同模型复杂度下的误差比较

习题与思考​

  • LOOCV 为什么计算成本较高？
  • k 值变大或变小时，偏差和方差如何变化？
  • Bootstrap 为什么允许重复抽样？

与前后章节联系​

第 5 章为第 6 章的模型选择和正则化提供工具，也会贯穿后续模型调参过程。

待补充​

  • 画出交叉验证流程图。
  • 整理不同重采样方法的优缺点。
  • 复现 Bootstrap 实验。