跳到主要内容

第 4 章 分类

对应原书 Chapter 4: Classification。

本章定位​

本章研究输出变量为类别时的建模方法，重点包括 Logistic 回归、判别分析、朴素贝叶斯、KNN 和广义线性模型。

阅读前问题​

  • 为什么不能直接用线性回归做分类？
  • Logistic 回归中的概率、赔率和 logit 是什么关系？
  • LDA、QDA 和朴素贝叶斯的假设有什么不同？
  • 分类模型应该怎样比较？

章节骨架​

  • 分类问题概览
  • Logistic 回归
  • 生成式分类模型
  • LDA、QDA、朴素贝叶斯
  • 分类方法比较
  • 广义线性模型
  • Python 分类实验

核心概念​

  • 类别输出
  • 概率阈值
  • Logistic 函数
  • 赔率与 logit
  • 最大似然估计
  • 判别边界
  • 混淆矩阵、准确率、错误率

公式与推导​

重点补充：

  • Logistic 回归模型
  • logit 变换
  • LDA 判别规则
  • QDA 判别规则
  • 朴素贝叶斯条件独立假设

图表与直觉​

图片放在：

assets/images/ch04/

建议补充：

  • Logistic 曲线
  • 线性与二次判别边界
  • 混淆矩阵示意图
  • 分类方法比较图

Python 实验​

记录：

  • Smarket 数据分类
  • Logistic 回归
  • LDA、QDA、朴素贝叶斯
  • KNN
  • Bikeshare 数据上的 GLM

习题与思考​

  • Logistic 回归为什么输出概率而不是任意实数？
  • LDA 和 QDA 分别适合什么数据形态？
  • 分类阈值改变会如何影响错误类型？

与前后章节联系​

本章与第 3 章共同构成监督学习基础。第 5 章会讨论如何更可靠地评估这些模型。

待补充​

  • 整理 Logistic 与 LDA 的对比表。
  • 补充分类评估指标。
  • 复现实验中的分类结果。