第 9 章 支持向量机
对应原书 Chapter 9: Support Vector Machines。
本章定位
本章研究基于间隔的分类方法。支持向量机从线性可分问题出发,通过软间隔和核函数扩展到非线性分类。
阅读前问题
- 什么是超平面?
- 最大间隔分类器为什么只由少数点决定?
- 软间隔如何处理不可分数据?
- 核函数如何让线性分类器产生非线性边界?
章节骨架
- 最大间隔分类器
- 支持向量分类器
- 支持向量机
- 非线性决策边界
- 多分类 SVM
- 与 Logistic 回归的关系
- Python SVM 实验
核心概念
- 超平面
- 间隔
- 支持向量
- 软间隔
- 调参参数
- 核函数
- 线性核、多项式核、径向基核
- 一对一与一对多多分类
公式与推导
重点补充:
- 超平面表示
- 最大间隔约束
- 软间隔目标
- 核函数直觉
图表与直觉
图片放在:
assets/images/ch09/
建议补充:
- 最大间隔示意图
- 支持向量示意图
- 不同核函数决策边界对比
- ROC 曲线
Python 实验
记录:
- 支持向量分类器
- 支持向量机
- ROC 曲线
- 多分类 SVM
- 基因表达数据应用
习题与思考
- 为什么支持向量之外的点对分类边界影响较小?
- 软间隔参数如何影响过拟合?
- 核函数选择应考虑哪些因素?
与前后章节联系
SVM 是分类模型的重要补充。第 10 章会进入更灵活但更复杂的深度学习模型。
待补充
- 补充最大间隔几何推导。
- 整理核函数对比表。
- 复现 ROC 曲线实验。