Box-Cox 变换

一、直观理解：给正数数据“拧一拧旋钮”让它更像钟形

Box-Cox 变换是一组带参数 $\lambda$ 的幂变换，专门处理严格为正的连续变量。它的目标通常是：让数据更接近正态分布、让方差更稳定、让线性模型的残差更像“均匀散开的噪声”。

想象弹簧秤的读数：数值越大，抖动越厉害（异方差）；直方图也严重右偏，长长的尾巴拖在右边。Box-Cox 就像一个连续可调的“弯曲旋钮”：

• $\lambda=1$：几乎不变形（只做平移缩放）；
• $\lambda=0.5$：类似开方，压缩大值；
• $\lambda=0$：等价于对数变换，常用于右偏的收入、流量、浓度；
• $\lambda=-1$：类似取倒数，强力压制大值。

通过在训练集上选择合适的 $\lambda$，可以把“越来越散”的喇叭形残差拧得更整齐，把偏态拧得更对称。

必须记住两点：

1. 原始 $x$ 必须大于 0；若有 0 或负数，需先平移（如 $x+c$）或改用 Yeo-Johnson 变换；
2. 模型在变换后的空间里拟合，解释预测结果时往往要变回原始量纲，并注意区间估计的非对称性。

二、适用场景与优缺点

类型	说明
适用场景	正值连续变量明显右偏或左偏；线性回归 / ANOVA 残差呈喇叭形（方差随均值增大）；需要稳定方差后再做 $t$ 检验、控制图或高斯过程假设；与对数变换类似但希望让数据决定“弯曲程度”。
核心优点	嵌套了对数、平方根、倒数等常用变换；$\lambda$ 可用极大似然客观选取；改善正态性与方差齐性后，许多经典推断更可靠。
局限与缺点	仅适用于 x>0；变换后系数的实际含义变复杂；最优 $\lambda$ 对异常值敏感；未必对预测指标（RMSE 等）最优；多重变量各自变换时解释负担重。

使用 Box-Cox 前通常需要完成以下检查：

1. 确认变量严格为正，或已选定合理的平移常数 $c$ 使 x+c>0；
2. 用直方图、Q-Q 图、偏度 / 峰度查看变换动机是否成立；
3. 区分“为了残差正态”还是“为了预测精度”，后者应以交叉验证为准；
4. $\lambda$ 只在训练集上估计，并固定用于验证 / 测试；
5. 事先想好逆变换公式，以及预测区间如何从变换空间返回。

三、核心原理：带参数的幂族与似然选参

1. 变换定义

对 x>0，Box-Cox 变换为：

$$y(\lambda)= \begin{cases} \dfrac{x^{\lambda}-1}{\lambda}, & \lambda\neq 0 \\[8pt] \ln x, & \lambda=0 \end{cases}$$

$\lambda\to 0$ 时，分子分母的极限正好是 $\ln x$，因此对数是幂族的连续延伸，而不是外挂特例。

2. 为何除以 $\lambda$ 还要减 $1/\lambda$

写成 $(x^{\lambda}-1)/\lambda$ 是为了在 $\lambda=0$ 处连续，并便于似然函数对 $\lambda$ 求导。实际应用中，有人也直接用 $x^{\lambda}$ 或 $\ln x$，与完整 Box-Cox 只差仿射变换；若后续还有标准化，对许多算法影响不大，但选 $\lambda$ 的似然公式必须与定义一致。

3. 用极大似然选择 $\lambda$

假设存在某个 $\lambda$，使 $y_i(\lambda)$ 近似 i.i.d. 正态 $N(\mu,\sigma^2)$。则关于 $\lambda$ 的剖面对数似然（去掉与 $\lambda$ 无关的常数后）可写为：

$$\ell(\lambda)=-\frac{n}{2}\ln\hat\sigma^2(\lambda)+(\lambda-1)\sum_{i=1}^{n}\ln x_i$$

其中 $\hat\sigma^2(\lambda)$ 是 $y(\lambda)$ 的样本方差，第二项来自变换的雅可比行列式。在网格 $\lambda\in[-2,2]$ 上最大化 $\ell(\lambda)$ 即得 $\hat\lambda$。

4. 逆变换

由 $y$ 还原 $x$：

$$x= \begin{cases} ( \lambda y+1)^{1/\lambda}, & \lambda\neq 0 \\ e^{y}, & \lambda=0 \end{cases}$$

注意 $\lambda\neq 0$ 时需 \lambda y+1>0。对条件均值做逆变换时，$\mathbb{E}[x]\neq g^{-1}(\mathbb{E}[y])$，简单代入会有 Jensen 偏差；竞赛里若只做点预测，常仍用直接逆变换并在讨论中说明。

5. 与 Yeo-Johnson 的对比

Yeo-Johnson 可处理 $x\leq 0$，在含零、含负的数据上更省事。若数据严格为正且希望与经典文献一致，Box-Cox 仍是首选。

四、关键决策 / 如何选参数

1. $\lambda$ 的搜索范围与步长

常用 $[-2,2]$，步长 $0.1$；精细化时可在最优附近用 $0.01$。也可限制在有解释意义的集合 $\{ -1,-0.5,0,0.5,1\}$ 中做离散选择，便于论文叙述（“采用对数变换”比“$\lambda=-0.37$”更好懂）。

2. 何时四舍五入到“干净”的 $\lambda$

若 $\hat\lambda\approx 0.08$，报告中可写“接近对数变换，故取 $\lambda=0$”，并补充似然比值或变换后 Q-Q 图证明损失很小。可解释性往往比小数点后三位的最优更重要。

3. 平移常数 $c$

当 $\min x\leq 0$ 时，常见 $c=|\min x|+ \epsilon$。$\epsilon$ 太小会让接近 0 的点在对数型变换下极度负向拉长；应结合业务（如检测限）选择，并做敏感性分析。

4. 回归场景：对 $y$ 变换还是对 $x$ 变换

• 对响应变量 $y$ 做 Box-Cox：改善误差正态性与方差齐性，是经典用法；
• 对某个偏态自变量做变换：改善线性关系与共线性结构，但 $\lambda$ 选择更宜看模型拟合 / CV，而不是对 $x$ 本身的正态似然。

5. 异常值

$\hat\lambda$ 可能被少数极大值绑架。变换前应做箱线图或稳健筛查；也可比较删除可疑点前后的 $\hat\lambda$。

6. 交叉验证

若目标是预测精度，应用 CV 比较“不变换 / 对数 / Box-Cox / 固定 $\lambda$”的验证误差，不要只看训练似然。

五、MATLAB 示例

下面在正值右偏数据上估计 $\lambda$，比较变换前后的直方图与偏度，并演示逆变换。boxcox 需要 Econometrics Toolbox；若无该工具箱，可用网格搜索剖面似然的手写版本（与工具箱思想一致）。

rng(7);

% 生成右偏的正值数据（类似收入/流量）
x = exp(1.2 + 0.7 * randn(200, 1));   % 对数正态
x = max(x, 1e-6);                     % 数值保护

% ----- 方法 A：若有 Econometrics Toolbox -----
% [y, lambdaHat] = boxcox(x);

% ----- 方法 B：网格搜索剖面对数似然（基础 MATLAB 可运行）-----
lambdaGrid = (-2:0.05:2)';
n = numel(x);
logLik = zeros(size(lambdaGrid));

for k = 1:numel(lambdaGrid)
    lam = lambdaGrid(k);
    if abs(lam) < 1e-12
        yTmp = log(x);
    else
        yTmp = (x.^lam - 1) / lam;
    end
    sigma2 = var(yTmp, 0);                 % 样本方差
    % 剖面对数似然（相差与 lambda 无关的常数）
    logLik(k) = -0.5 * n * log(sigma2) + (lam - 1) * sum(log(x));
end

[~, idx] = max(logLik);
lambdaHat = lambdaGrid(idx);

% 应用最优 lambda
if abs(lambdaHat) < 1e-12
    y = log(x);
else
    y = (x.^lambdaHat - 1) / lambdaHat;
end

fprintf("估计的 lambda = %.2f\n", lambdaHat);
fprintf("变换前偏度 = %.3f\n", skewness(x));
fprintf("变换后偏度 = %.3f\n", skewness(y));

% 作图对比
figure;
subplot(2, 2, 1); histogram(x); title("原始 x");
subplot(2, 2, 2); histogram(y); title(sprintf("Box-Cox (\\lambda=%.2f)", lambdaHat));
subplot(2, 2, 3); qqplot(x); title("原始 Q-Q");
subplot(2, 2, 4); qqplot(y); title("变换后 Q-Q");

% 似然曲线
figure;
plot(lambdaGrid, logLik, "LineWidth", 1.5);
xline(lambdaHat, "--r");
xlabel("\lambda"); ylabel("剖面对数似然");
title("Box-Cox 参数选择");
grid on;

% 逆变换（点预测回到原始量纲）
if abs(lambdaHat) < 1e-12
    xRec = exp(y);
else
    xRec = (lambdaHat * y + 1).^(1 / lambdaHat);
end
fprintf("逆变换最大绝对误差 = %.3e\n", max(abs(xRec - x)));

在回归中对响应变量使用时，典型流程是：用训练集 $y$ 估 $\hat\lambda$ → 在 $y(\hat\lambda)$ 上拟合 → 预测得到 $\hat y(\hat\lambda)$ → 逆变换回原始单位，再计算 RMSE。

六、如何解释结果

解释分两层：

1. 统计层：报告 $\hat\lambda$、变换前后的偏度、直方图 / Q-Q 图、残差 vs 拟合值图。若 $\hat\lambda\approx 0$，可直接说“数据支持对数变换”。
2. 业务层：模型系数位于变换空间。例如对 $y$ 取 $\lambda=0$（对数）后，自变量的系数常近似解释为“乘性”影响；其他 $\lambda$ 很少有简洁的百分比解释，应避免生硬翻译。

完整报告建议包含：

1. 原始变量范围、是否平移及 $c$ 的取值理由；
2. $\lambda$ 的估计方法（似然网格 / 工具箱 / CV）与 $\hat\lambda$；
3. 是否将 $\hat\lambda$ 圆整为可解释值；
4. 变换前后诊断图；
5. 逆变换方式及对预测指标的影响；
6. 与“不变换”“纯对数”等基线的对比。

七、常见误区

1. 对含零或负数的变量直接 Box-Cox

未定义。应先平移，或改用 Yeo-Johnson，并在论文中写清。

2. 变换后忘记回到原始量纲做业务解释

评委关心的是吨、元、人，而不是 $(x^{0.3}-1)/0.3$ 的单位。

3. 在全数据上估 $\lambda$ 再划分训练测试

$\lambda$ 是预处理参数，必须在训练折内估计，否则泄漏。

4. 把“更正态”等同于“预测更好”

分类 / 树模型、或已经用对数损失的模型，未必需要 Box-Cox。应用下游指标说话。

5. 对每个变量都机械变换

变量一多，解释和逆变换会失控。优先变换明显偏态、且进入参数假设较强模型的变量。

八、小结

Box-Cox 通过一个可估计的幂参数 $\lambda$，在对数、开方、倒数等变换之间做连续选择，用来改善正值数据的对称性与方差稳定性。

它的核心思想可以概括为：

与其凭感觉在“取不取对数”之间拍板，不如让数据在一族幂变换里选出最合适的弯曲程度。

使用时守住正值约束、训练期估参、逆变换解释三条底线，并与简单对数基线对比。Box-Cox 是为经典统计假设服务的工具，不是所有建模流程的必选项。