第 7 章 超越线性
对应原书 Chapter 7: Moving Beyond Linearity。
本章定位
本章讨论在保留一定可解释性的同时,如何让模型表达非线性关系。重点是多项式、样条、局部回归和 GAM。
阅读前问题
- 为什么线性模型不够用?
- 多项式回归和样条有什么区别?
- 平滑参数如何影响模型复杂度?
- GAM 为什么兼顾灵活性和可解释性?
章节骨架
- 多项式回归
- 阶梯函数
- 基函数
- 回归样条
- 平滑样条
- 局部回归
- 广义加性模型
- Python 非线性建模实验
核心概念
- 非线性关系
- 基函数
- 节点
- 分段多项式
- 样条约束
- 平滑参数
- 局部权重
- GAM
公式与推导
重点补充:
- 多项式回归形式
- 基函数展开
- 回归样条表示
- 平滑样条目标函数
- GAM 加性结构
图表与直觉
图片放在:
assets/images/ch07/
建议补充:
- 多项式拟合与样条拟合对比
- 节点位置示意图
- 平滑参数影响图
- GAM 单变量贡献图
Python 实验
记录:
- 多项式回归
- 阶梯函数
- 样条
- 平滑样条
- GAM
- 局部回归
习题与思考
- 过高阶多项式为什么可能不稳定?
- 样条的节点数量如何影响模型?
- GAM 的“加性”假设有什么限制?
与前后章节联系
本章从线性模型过渡到更灵活的非线性模型。第 8 章会转向树模型,以另一种方式处理非线性和交互。
待补充
- 整理多项式、样条、GAM 对比表。
- 补充 Wage 数据实验。
- 画出非线性方法选择指南。