跳到主要内容

统计分析

从样本推断总体规律、检验差异并刻画变量关系,同时把结论的不确定性说清楚。统计显著不等于实际重要,软件输出的 pp 值也不能替代模型假设检查与效应量报告。

可以把它想成“带误差条的说理”。例如:

  • 两组/多组指标差异是随机波动还是系统性差别;
  • 控制其他因素后,某解释变量与结果的数量关系;
  • 面板、空间、生存、共现结构下,关联应如何估计与检验。

建模竞赛里,统计分析既可能是全文主模型,也可能是回归/预测/评价前的证据层。本门类强调:估计—区间—检验—诊断—效应量,五者齐全,才算把话说完。

一、这一门类解决什么问题​

数学建模中的“统计分析”不只是算均值和相关系数,而是回答三类问题:

  1. 估计:未知参数大概是多少,区间有多宽?
  2. 检验:观察到的差异或关联,能否用随机波动解释?
  3. 建模:在控制其他因素后,变量之间是怎样的数量关系,诊断是否通过?

典型赛题信号包括:

  • 比较多组工艺/地区/策略的指标差异;
  • 解释影响因素,做回归并检查共线、异方差、自相关;
  • 处理个体—时间面板或地理单元空间相关;
  • 估计含删失的生存时间;
  • 从交易/共现数据中挖掘关联规则;
  • 在小样本或需融入先验时做贝叶斯推断。

本门类方法大致沿六条主线展开:

  1. 参数估计与假设检验(含非参数);
  2. 相关与方差分析;
  3. 回归诊断与改进(共线、异方差、自相关、正则化);
  4. 面板数据模型;
  5. 生存分析与空间统计;
  6. 贝叶斯推断与关联规则。

二、如何选择方法​

问题信号优先考虑所在位置
用样本估计总体参数、明确分布与抽样矩估计、极大似然;需先验时贝叶斯参数估计、贝叶斯统计推断
比较两组均值(正态、方差齐)t 检验假设检验/t检验
比较方差或线性模型整体F 检验假设检验/F检验
分类变量关联/拟合优度χ² 检验假设检验/χ²检验
正态/齐性不成立、秩次比较非参数检验假设检验/非参数检验
连续变量线性相关Pearson相关分析/Pearson
单调相关、抗极端值Spearman相关分析/Spearman
等级一致性、小样本秩相关Kendall相关分析/Kendall
两组多变量整体相关典型相关分析多元相关分析
多组均值、因素设计单因素/双因素 ANOVA、协方差分析方差分析
一个结果多个解释变量回归 + 全套诊断回归诊断与改进
共线严重VIF 诊断 → 岭回归 / Lasso同上
异方差/自相关稳健标准误、GLS、DW 等检验与改进同上
个体重复观测的面板固定/随机效应 + Hausman面板数据模型
事件发生时间且有删失KM 曲线、Cox 模型生存分析
地理单元相互影响Moran’s I → SAR/SEM空间统计分析
交易/共现模式Apriori 等关联规则关联规则挖掘

这张表用于快速定位。最终选择取决于测量尺度、设计(独立/配对/区组)、分布与依赖结构,而不是“哪个检验名字常见”。

三、方法选择的决策逻辑​

数据是独立截面、面板、空间、还是生存/共现?
├─ 生存(含删失)→ KM / Cox
├─ 空间单元 → 先 Moran’s I,再 SAR/SEM
├─ 个体×时间 → 面板 FE/RE(Hausman)
├─ 购物篮/共现 → 关联规则
└─ 一般截面/实验设计
├─ 只问关联强度 → Pearson/Spearman/Kendall/典型相关
├─ 只问组间差异 → t / ANOVA / 非参数
└─ 要控制多因素数量关系 → 回归
└─ 诊断:共线、异方差、自相关、影响点
└─ 再改进:变换、稳健SE、岭/Lasso 等

需要“是否导致/政策是否有效”时,不要停在相关与回归系数上,应转到 09 因果推断 并写清识别假设。

四、统一的建模工作流​

  1. 设计与抽样:谁是分析单位、是否独立、测量尺度、缺失机制;
  2. 描述统计与可视化:分布、离群点、分组箱线、散点与相关矩阵;
  3. 假设检查:正态、方差齐性、平行性(ANCOVA)、比例风险(Cox)等;
  4. 主推断:点估计、置信区间、检验统计量与自由度;
  5. 效应量:Cohen’s dd、R2R^2/偏 η2\eta^2、优势比、风险比等,回到题目单位解释;
  6. 多重比较:多组两两比时控制 FWER 或 FDR;
  7. 诊断与灵敏度:残差图、VIF、剔除影响点、换稳健方法;
  8. 写作:假设—方法—结果(估计+区间+p)—实质意义—局限。

五、报告规范:不要只写“显著”​

同时给出:

  • 效应量与置信区间(或可信区间);
  • pp 值与检验名称、单侧/双侧、样本量;
  • 不满足假设时的替代方法结果;
  • 统计显著但效应很小时的实际意义讨论。

MATLAB 中常用:ttest、ttest2、anova1、anovan、fitlm、corr、ranksum、signtest、vartest2 等;面板、空间、生存可能需工具箱或自写。结果解释必须回到题目单位与业务阈值,避免只贴星号表。

六、与各子目录的对应关系​

子目录或篇章核心任务典型出口
参数估计点估计与估计量性质估计值与(渐近)误差
假设检验差异/关联是否像随机出现检验结论与条件
相关分析两变量关联强度与方向相关系数与检验
多元相关分析两组变量整体关联典型相关系数
方差分析组间差异分解与因素效应ANOVA 表与多重比较
回归诊断与改进让回归系数可信、方差估计正确诊断图与改进模型
面板数据模型控制不可观测异质性FE/RE 估计
生存分析时间—事件与协变量风险生存曲线、HR
空间统计分析空间依赖与溢出Moran、SAR/SEM
贝叶斯统计推断先验—似然—后验后验与可信区间
关联规则挖掘频繁共现与规则兴趣度支持度/置信度/提升度

统计分析与 04 预测、05 分类 的分工:本门类侧重推断与诊断;预测/分类侧重训练期外误差。与 01 预处理 衔接:变换与异常处理会改变检验与区间,必须在方法段说明。

七、使用提醒与常见陷阱​

  • 只报 pp、不报效应量与区间,读者无法判断实际重要性;
  • 假设未查:偏态数据强行 t 检验、方差不齐仍用经典 ANOVA、把相关样本当独立样本;
  • 多重比较膨胀:十几个指标逐个 t 检验却不校正;
  • 相关当因果:把回归系数写成“影响/导致”却无识别策略;
  • 逐步回归数据挖掘:无预注册的变量筛选使 pp 值失去名义水平;
  • 空间/时间依赖忽视:把相关残差当独立,标准误偏小、虚假显著;
  • 关联规则只看置信度:忽略支持度与提升度,规则可能无用或误导。

八、推荐学习顺序​

  1. 先读本导读,建立“设计 → 估计/检验 → 效应量 → 诊断”的语言;
  2. 参数估计与假设检验(t/F/χ²/非参数);
  3. 相关分析与方差分析;
  4. 回归诊断与改进(VIF、异方差、自相关、岭/Lasso);
  5. 按题目数据形态选学:面板、生存、空间、贝叶斯、关联规则。

进入具体方法页后,建议按「直观理解 → 适用边界 → 核心原理 → 关键决策 → MATLAB → 结果解释 → 常见误区 → 小结」阅读,并亲手复现示例。最终写进论文的,应是可核对的假设 + 带区间的估计 + 诊断通过与否 + 实质意义,而不是一张只有星号的系数表。