跳到主要内容

第 3 章 线性回归

对应原书 Chapter 3: Linear Regression。

本章定位​

线性回归是最重要的基准模型之一。本章不仅学习预测连续变量，也学习如何解释变量关系、评估系数和诊断模型。

阅读前问题​

  • 简单线性回归和多元线性回归分别解决什么问题？
  • 最小二乘法在几何和统计上分别意味着什么？
  • 如何判断某个变量是否真的有用？
  • 线性模型有哪些常见问题？

章节骨架​

  • 简单线性回归
  • 多元线性回归
  • 回归模型中的其他考虑
  • 定性变量、交互项、非线性变换
  • 潜在问题与模型诊断
  • 线性回归与 KNN 的比较
  • Python 线性回归实验

核心概念​

  • 截距与斜率
  • 残差与残差平方和
  • 最小二乘估计
  • 标准误、置信区间、假设检验
  • R2R^2、残差标准误
  • 共线性、异常值、高杠杆点
  • 交互项与非线性项

公式与推导​

重点补充：

  • 简单线性回归模型
  • 最小二乘估计公式
  • 残差平方和 RSS
  • R2R^2
  • t 统计量与 F 统计量

图表与直觉​

图片放在：

assets/images/ch03/

建议补充：

  • 拟合直线与残差示意图
  • 残差图
  • 杠杆点和异常值示意图
  • 交互项的几何直觉

Python 实验​

记录：

  • 数据加载
  • 简单线性回归
  • 多元线性回归
  • 模型诊断图
  • 分类变量处理

习题与思考​

  • 什么情况下线性回归的系数解释会失效？
  • 为什么相关不等于因果？
  • 多元回归中加入变量后，单个系数的含义如何变化？

与前后章节联系​

本章是回归模型的基础。第 4 章把输出变量改为类别，进入分类问题；第 6、7 章会继续扩展线性模型。

待补充​

  • 完成最小二乘估计推导。
  • 整理线性回归 Lab。
  • 补充模型诊断清单。