统计学 · Statistics

均值是所有数据之和除以数据个数，反映数据的集中趋势；中位数是将数据排序后位于中间位置的值，对异常值具有稳健性；众数是出现频率最高的值，适用于分类数据。三者从不同角度刻画数据的中心位置。

变异系数 CV = σ/μ 是无量纲的相对离散度量，适合比较不同量纲数据的离散程度。四分位距 IQR = Q₃ - Q₁ 衡量中间50%数据的分散程度，对异常值具有稳健性，是箱线图的核心。

方差衡量数据点相对于均值的偏离程度，是各数据与均值差的平方的平均值。标准差是方差的平方根，与原始数据量纲一致，更易解释。注意样本方差使用 n-1（Bessel校正）以获得无偏估计。

偏度（Skewness）衡量分布的不对称性：正偏（右偏）表示右尾较长，负偏（左偏）表示左尾较长。峰度（Kurtosis）衡量分布尾部的厚度：高峰度意味着更多的极端值（厚尾），正态分布峰度为3（超额峰度为0）。

皮尔逊相关系数衡量两个连续变量之间线性关系的强度和方向，取值范围[-1,1]。r=1表示完全正相关，r=-1表示完全负相关，r=0表示无线性相关。核心告诫：相关不等于因果。

斯皮尔曼秩相关系数基于数据的秩次而非原始值，适用于单调非线性关系。对异常值和非正态数据具有稳健性，只要两个变量存在单调关系即可检测。

Kendall tau 基于数据对的一致性（concordant）和不一致性（discordant）。相比Spearman，Kendall tau 在小样本时具有更好的统计性质，且其概率解释更直观。适合有序分类数据。

随机变量将样本空间映射到实数集。离散型用概率质量函数 PMF 描述，连续型用概率密度函数 PDF 描述。分布函数 F(x) = P(X ≤ x) 对所有随机变量都有定义，具有单调不减、右连续、F(-∞)=0, F(+∞)=1 的性质。

大数定律是频率学派概率解释的数学基础。弱大数定律：样本均值依概率收敛于 μ。强大数定律：样本均值几乎必然收敛于 μ。它保证了当样本量足够大时，样本统计量可以可靠地估计总体参数。

中心极限定理是统计学中最重要的定理之一。无论总体分布是什么形状，只要满足一定条件（独立同分布、方差有限），样本均值的标准化形式在大样本下近似服从标准正态分布。这为大样本推断提供了理论基础。

联合分布描述多个随机变量同时取值的概率规律。边缘分布通过对联合分布积分（或求和）得到单个变量的分布。条件分布描述在已知某些变量取值的条件下其他变量的分布。三者通过概率乘法法则联系在一起。

点估计是用单个统计量估计总体参数。好的估计量应满足：无偏性（E[θ̂]=θ）、有效性（方差最小）、一致性（大样本收敛于真值）、充分性（不损失样本信息）。样本均值是总体均值的最佳线性无偏估计（BLUE）。

置信区间提供参数估计的不确定性范围。95%置信区间的含义：如果反复抽样并构建区间，约95%的区间会包含真实参数值。置信区间比单一p值提供更丰富的信息——同时给出效应大小和精度。

MLE 的核心思想：选择使观测数据的似然函数达到最大值的参数值。MLE 具有一致性、渐近正态性和渐近有效性等优良性质。对数似然方程通常更容易求解。在大样本下，MLE 是最优估计方法。

矩估计通过令样本矩等于总体矩来求解参数估计。一阶矩对应均值，二阶矩对应方差。矩估计计算简单，不需要似然函数，但通常不如MLE有效。在某些模型中矩估计可作为MLE的初始值。

I 类错误（α）：H₀ 为真时错误地拒绝 H₀（假阳性）。II 类错误（β）：H₀ 为假时未能拒绝 H₀（假阴性）。检验功效 1-β 是正确拒绝错误 H₀ 的概率。α 和 β 此消彼长，需在二者间权衡。增大样本量可同时降低两类错误。

p 值是在零假设为真的前提下，观察到当前样本结果或更极端结果的概率。p 值越小，反对 H₀ 的证据越强。常见误解：p 值不是 H₀ 为真的概率，也不是 H₁ 为真的概率。近年来 p 值的滥用引发"可重复性危机"，ASA 已发布声明规范 p 值使用。

t 检验用于小样本情况下对均值进行推断。单样本 t 检验检验总体均值是否等于某个值；独立双样本 t 检验比较两组均值是否有差异；配对 t 检验比较同一组对象前后差异。要求数据近似正态分布（或大样本下由 CLT 保证）。

卡方检验有两种主要应用：拟合优度检验（观测频数是否符合某理论分布）和独立性检验（两个分类变量是否独立）。检验统计量为观测频数与期望频数偏差的加权平方和。

ANOVA 用于比较三个或更多组的均值是否有显著差异。核心思想是将总变异分解为组间变异（由因素解释）和组内变异（随机误差）。F 统量 = 组间方差/组内方差。若 F 值足够大，说明至少有一组与其他组显著不同。

当数据不满足正态性等参数假设时，非参数检验是替代方案。Wilcoxon 秩和检验替代独立样本 t 检验；Wilcoxon 符号秩检验替代配对 t 检验；Kruskal-Wallis 检验替代单因素 ANOVA。非参数方法以检验功效为代价换取稳健性。

当进行多次假设检验时，I 类错误的概率会膨胀。Bonferroni 校正通过将显著性水平 α 除以检验次数 m 来控制族系误差率 (FWER)。方法简单但过于保守，当检验次数很多时会大幅降低检验功效。

FDR = E[被错误拒绝的比例]。Benjamini-Hochberg (BH) 程序控制 FDR 而非 FWER，在大规模多重检验（如基因组学中上万个基因同时检验）中比 Bonferroni 方法具有更高的检验功效。BH 程序是当今基因组学、神经影像学等领域的标准方法。

线性回归通过最小化残差平方和拟合因变量与自变量之间的线性关系。OLS 估计量是 BLUE（最佳线性无偏估计，Gauss-Markov 定理）。模型假设 LINE：线性、独立性、正态性、等方差。

回归诊断用于验证模型假设是否成立。残差图检测异方差和非线性；Q-Q 图检验正态性；Cook's 距离识别强影响点；VIF 检测多重共线性。良好的诊断是可靠推断的前提。

多元回归中自变量高度相关会导致系数估计不稳定、标准误膨胀。VIF（方差膨胀因子）用于检测共线性。变量选择方法包括：前向选择（逐步加入显著变量）、后向消除（逐步删除不显著变量）、逐步回归（双向）。AIC/BIC 用于模型选择的信息准则。

正则化通过在损失函数中加入惩罚项来防止过拟合。L1 正则化（Lasso）倾向于产生稀疏解（部分系数为 0，实现变量选择）；L2 正则化（Ridge）缩小所有系数但不为 0；Elastic Net 结合两者优点。正则化参数 λ 通过交叉验证选择。

逻辑回归用于因变量为二分类（0/1）的情况。通过 logit 函数将线性组合映射到 [0,1] 概率区间。模型输出的是事件发生的对数几率 (log-odds)，通过 sigmoid 函数转化为概率。是分类问题的基准模型。

泊松回归用于因变量为计数数据（非负整数）的情况。假设因变量服从泊松分布，使用对数连接函数将线性预测子与期望值联系。适用于预测事件发生次数，如保险索赔次数、网站访问次数、缺陷数等。

核回归不假设函数的具体形式，通过在每个目标点附近用核函数加权平均来估计条件均值。带宽 h 控制平滑程度：h 大则更平滑（高偏差低方差），h 小则更灵活（低偏差高方差）。带宽选择是核回归的核心问题。

LOESS（局部估计散点图平滑）在每个点的邻域内拟合低阶多项式，通过加权最小二乘实现。相比核回归，局部多项式方法在边界处偏差更小。平滑参数（span）控制邻域大小，是偏差-方差权衡的关键。广泛用于探索性数据分析。

平稳性是时间序列建模的基本前提。ADF 检验的零假设为"存在单位根"（非平稳）。若检验统计量小于临界值（或 p 值小于 α），则拒绝单位根假设，认为序列平稳。非平稳序列通常需要差分处理。

AR(p) 模型用过去 p 个时间点的值线性预测当前值。MA(q) 模型用过去 q 个预测误差线性预测当前值。ARMA(p,q) 结合两者，适用于平稳时间序列。建模流程：识别（ACF/PACF 定阶）→ 估计 → 诊断 → 预测。

ARIMA 通过差分将非平稳序列转为平稳序列再用 ARMA 建模。d 为差分次数。SARIMA 加入季节性成分，记为 ARIMA(p,d,q)(P,D,Q)s。建模流程遵循 Box-Jenkins 方法论：识别→估计→诊断→预测，若诊断不通过则重新识别。

两个或多个非平稳时间序列可能存在长期均衡关系，即它们的线性组合是平稳的，这称为协整。协整关系意味着变量之间存在"共同趋势"。Engle-Granger 两步法和 Johansen 检验是常用的协整检验方法。误差修正模型 (ECM) 描述短期偏离向长期均衡的调整过程。

GARCH 模型用于建模时间序列的波动率聚类现象——大波动后往往跟随大波动，小波动后跟随小波动。GARCH(1,1) 是金融市场波动率建模的标准模型。扩展包括 EGARCH（处理不对称性）和 GJR-GARCH（门限模型）。

贝叶斯推断的核心是将参数视为随机变量，通过贝叶斯定理将先验知识与观测数据融合得到后验分布。先验分布 P(θ) 表示在观测数据之前对参数的信念；似然函数 P(D|θ) 表示在给定参数下观测到数据的概率；后验分布 P(θ|D) 是更新后的信念。

共轭先验是指先验分布与似然函数属于同一分布族，使得后验分布也是同一分布族。这大大简化了计算。常用共轭对：Beta-二项（成功率推断）、正态-正态（均值推断）、Gamma-泊松（计数数据推断）。

当后验分布无法解析计算时，MCMC 方法通过构建马尔可夫链来近似采样。MH 算法的核心：提出新候选点，根据接受概率决定是否移动。接受概率保证链的平稳分布等于目标后验分布。收敛后，样本可近似后验分布的任何性质。

Gibbs 采样是 MH 算法的特例，当条件分布容易采样时特别高效。核心思想：依次从每个变量的条件分布中采样（固定其他变量）。Gibbs 采样的接受率为 1（无拒绝），在高维问题中比通用 MH 算法更高效。JAGS、BUGS 等软件广泛使用。