统计分析
从样本推断总体规律、检验差异并刻画变量关系,同时把结论的不确定性说清楚。统计显著不等于实际重要,软件输出的 值也不能替代模型假设检查与效应量报告。
可以把它想成“带误差条的说理”。例如:
- 两组/多组指标差异是随机波动还是系统性差别;
- 控制其他因素后,某解释变量与结果的数量关系;
- 面板、空间、生存、共现结构下,关联应如何估计与检验。
建模竞赛里,统计分析既可能是全文主模型,也可能是回归/预测/评价前的证据层。本门类强调:估计—区间—检验—诊断—效应量,五者齐全,才算把话说完。
一、这一门类解决什么问题
数学建模中的“统计分析”不只是算均值和相关系数,而是回答三类问题:
- 估计:未知参数大概是多少,区间有多宽?
- 检验:观察到的差异或关联,能否用随机波动解释?
- 建模:在控制其他因素后,变量之间是怎样的数量关系,诊断是否通过?
典型赛题信号包括:
- 比较多组工艺/地区/策略的指标差异;
- 解释影响因素,做回归并检查共线、异方差、自相关;
- 处理个体—时间面板或地理单元空间相关;
- 估计含删失的生存时间;
- 从交易/共现数据中挖掘关联规则;
- 在小样本或需融入先验时做贝叶斯推断。
本门类方法大致沿六条主线展开:
- 参数估计与假设检验(含非参数);
- 相关与方差分析;
- 回归诊断与改进(共线、异方差、自相关、正则化);
- 面板数据模型;
- 生存分析与空间统计;
- 贝叶斯推断与关联规则。
二、如何选择方法
| 问题信号 | 优先考虑 | 所在位置 |
|---|---|---|
| 用样本估计总体参数、明确分布与抽样 | 矩估计、极大似然;需先验时贝叶斯 | 参数估计、贝叶斯统计推断 |
| 比较两组均值(正态、方差齐) | t 检验 | 假设检验/t检验 |
| 比较方差或线性模型整体 | F 检验 | 假设检验/F检验 |
| 分类变量关联/拟合优度 | χ² 检验 | 假设检验/χ²检验 |
| 正态/齐性不成立、秩次比较 | 非参数检验 | 假设检验/非参数检验 |
| 连续变量线性相关 | Pearson | 相关分析/Pearson |
| 单调相关、抗极端值 | Spearman | 相关分析/Spearman |
| 等级一致性、小样本秩相关 | Kendall | 相关分析/Kendall |
| 两组多变量整体相关 | 典型相关分析 | 多元相关分析 |
| 多组均值、因素设计 | 单因素/双因素 ANOVA、协方差分析 | 方差分析 |
| 一个结果多个解释变量 | 回归 + 全套诊断 | 回归诊断与改进 |
| 共线严重 | VIF 诊断 → 岭回归 / Lasso | 同上 |
| 异方差/自相关 | 稳健标准误、GLS、DW 等检验与改进 | 同上 |
| 个体重复观测的面板 | 固定/随机效应 + Hausman | 面板数据模型 |
| 事件发生时间且有删失 | KM 曲线、Cox 模型 | 生存分析 |
| 地理单元相互影响 | Moran’s I → SAR/SEM | 空间统计分析 |
| 交易/共现模式 | Apriori 等关联规则 | 关联规则挖掘 |
这张表用于快速定位。最终选择取决于测量尺度、设计(独立/配对/区组)、分布与依赖结构,而不是“哪个检验名字常见”。
三、方法选择的决策逻辑
数据是独立截面、面板、空间、还是生存/共现?
├─ 生存(含删失)→ KM / Cox
├─ 空间单元 → 先 Moran’s I,再 SAR/SEM
├─ 个体×时间 → 面板 FE/RE(Hausman)
├─ 购物篮/共现 → 关联规则
└─ 一般截面/实验设计
├─ 只问关联强度 → Pearson/Spearman/Kendall/典型相关
├─ 只问组间差异 → t / ANOVA / 非参数
└─ 要控制多因素数量关系 → 回归
└─ 诊断:共线、异方差、自相关、影响点
└─ 再改进:变换、稳健SE、岭/Lasso 等
需要“是否导致/政策是否有效”时,不要停在相关与回归系数上,应转到 09 因果推断 并写清识别假设。
四、统一的建模工作流
- 设计与抽样:谁是分析单位、是否独立、测量尺度、缺失机制;
- 描述统计与可视化:分布、离群点、分组箱线、散点与相关矩阵;
- 假设检查:正态、方差齐性、平行性(ANCOVA)、比例风险(Cox)等;
- 主推断:点估计、置信区间、检验统计量与自由度;
- 效应量:Cohen’s 、/偏 、优势比、风险比等,回到题目单位解释;
- 多重比较:多组两两比时控制 FWER 或 FDR;
- 诊断与灵敏度:残差图、VIF、剔除影响点、换稳健方法;
- 写作:假设—方法—结果(估计+区间+p)—实质意义—局限。
五、报告规范:不要只写“显著”
同时给出:
- 效应量与置信区间(或可信区间);
- 值与检验名称、单侧/双侧、样本量;
- 不满足假设时的替代方法结果;
- 统计显著但效应很小时的实际意义讨论。
MATLAB 中常用:ttest、ttest2、anova1、anovan、fitlm、corr、ranksum、signtest、vartest2 等;面板、空间、生存可能需工具箱或自写。结果解释必须回到题目单位与业务阈值,避免只贴星号表。
六、与各子目录的对应关系
| 子目录或篇章 | 核心任务 | 典型出口 |
|---|---|---|
| 参数估计 | 点估计与估计量性质 | 估计值与(渐近)误差 |
| 假设检验 | 差异/关联是否像随机出现 | 检验结论与条件 |
| 相关分析 | 两变量关联强度与方向 | 相关系数与检验 |
| 多元相关分析 | 两组变量整体关联 | 典型相关系数 |
| 方差分析 | 组间差异分解与因素效应 | ANOVA 表与多重比较 |
| 回归诊断与改进 | 让回归系数可信、方差估计正确 | 诊断图与改进模型 |
| 面板数据模型 | 控制不可观测异质性 | FE/RE 估计 |
| 生存分析 | 时间—事件与协变量风险 | 生存曲线、HR |
| 空间统计分析 | 空间依赖与溢出 | Moran、SAR/SEM |
| 贝叶斯统计推断 | 先验—似然—后验 | 后验与可信区间 |
| 关联规则挖掘 | 频繁共现与规则兴趣度 | 支持度/置信度/提升度 |
统计分析与 04 预测、05 分类 的分工:本门类侧重推断与诊断;预测/分类侧重训练期外误差。与 01 预处理 衔接:变换与异常处理会改变检验与区间,必须在方法段说明。
七、使用提醒与常见陷阱
- 只报 、不报效应量与区间,读者无法判断实际重要性;
- 假设未查:偏态数据强行 t 检验、方差不齐仍用经典 ANOVA、把相关样本当独立样本;
- 多重比较膨胀:十几个指标逐个 t 检验却不校正;
- 相关当因果:把回归系数写成“影响/导致”却无识别策略;
- 逐步回归数据挖掘:无预注册的变量筛选使 值失去名义水平;
- 空间/时间依赖忽视:把相关残差当独立,标准误偏小、虚假显著;
- 关联规则只看置信度:忽略支持度与提升度,规则可能无用或误导。
八、推荐学习顺序
- 先读本导读,建立“设计 → 估计/检验 → 效应量 → 诊断”的语言;
- 参数估计与假设检验(t/F/χ²/非参数);
- 相关分析与方差分析;
- 回归诊断与改进(VIF、异方差、自相关、岭/Lasso);
- 按题目数据形态选学:面板、生存、空间、贝叶斯、关联规则。
进入具体方法页后,建议按「直观理解 → 适用边界 → 核心原理 → 关键决策 → MATLAB → 结果解释 → 常见误区 → 小结」阅读,并亲手复现示例。最终写进论文的,应是可核对的假设 + 带区间的估计 + 诊断通过与否 + 实质意义,而不是一张只有星号的系数表。