跳到主要内容

第 6 章 线性模型选择与正则化

对应原书 Chapter 6: Linear Model Selection and Regularization。

本章定位​

本章研究如何在线性模型中选择变量、控制复杂度、提升泛化能力。它是第 3 章线性回归的进阶版本。

阅读前问题​

  • 为什么变量越多不一定越好？
  • 最优子集选择、逐步选择和正则化有什么差别？
  • 岭回归和 Lasso 的惩罚项分别产生什么效果？
  • PCR 和 PLS 如何通过降维改善回归？

章节骨架​

  • 子集选择
  • 最优子集选择
  • 逐步选择
  • 模型选择标准
  • 收缩方法
  • 岭回归与 Lasso
  • 降维方法
  • 高维数据中的注意事项
  • Python 正则化实验

核心概念​

  • 模型复杂度
  • 变量选择
  • CpC_p、AIC、BIC、调整 R2R^2
  • Ridge
  • Lasso
  • 调参
  • 主成分回归 PCR
  • 偏最小二乘 PLS
  • 高维数据

公式与推导​

重点补充：

  • 岭回归目标函数
  • Lasso 目标函数
  • 正则化路径
  • PCR 与 PLS 的基本表示

图表与直觉​

图片放在：

assets/images/ch06/

建议补充：

  • Ridge 与 Lasso 约束区域对比图
  • 正则化路径图
  • 模型复杂度与误差图
  • PCR 降维示意图

Python 实验​

记录：

  • 子集选择
  • Ridge
  • Lasso
  • PCR
  • PLS
  • 交叉验证选择调参值

习题与思考​

  • Lasso 为什么能做变量选择？
  • 岭回归为什么通常不会把系数压到 0？
  • 高维数据下普通最小二乘会遇到什么问题？

与前后章节联系​

本章强化线性模型的泛化能力。第 7 章会进一步放松线性关系假设。

待补充​

  • 补充 Ridge 和 Lasso 的几何解释。
  • 整理模型选择指标对比表。
  • 复现实验中的正则化路径。