估计
概述
估计(推定,estimation)是利用观测到的样本(sample)数据,对总体(population)未知参数(parameter)值作出合理推测的统计程序。由于对总体整体进行调查的全面调查在现实中大多不可能,因此以从样本计算出的统计量为依据,推断总体均值、总体方差、总体比例等值。估计与假设检验共同构成推断统计学(inferential statistics)的两大支柱,并分为给出单一数值的点估计和给出一定置信水平下范围的区间估计。
主要内容
统计估计的基本概念
估计的出发点是对“样本能够代表总体”这一假设。通过随机抽样获得的数据所计算出的值,即估计量(estimator),被期望接近参数真值。例如,为估计总体均值 μ 而使用样本均值 x̄ 就是典型做法。估计量是随机变量,而实际计算出的某一个值则称为估计值(estimate),二者需加以区分。
点估计与区间估计
- 点估计(point estimation):将参数估计为一个数值。样本均值、样本方差、样本比例等是代表性的点估计量。
- 区间估计(interval estimation):给出预期会包含参数的区间,并同时给出置信水平。95%置信区间具有频率主义含义:若以相同方式重复抽样,则约有95%的区间会包含真实参数。
良好估计量的性质
1. 无偏性(unbiasedness):估计量的期望值与参数一致。
2. 一致性(consistency):样本量越大,估计量越以概率收敛于参数。
3. 有效性(efficiency):比其他无偏估计量方差更小,因而更精确。
4. 充分性(sufficiency):无损失地概括样本所含有的与参数有关的信息。
主要估计方法
- 最大似然估计(MLE):选择使观测样本出现似然(likelihood)最大化的参数值。具有一致性和渐近正态性,因此应用最为广泛。
- 最小二乘法(OLS):最小化残差平方和来估计回归系数。
- 矩估计法(Method of Moments):使样本矩与理论矩相一致,从而求出参数。
- 贝叶斯估计:通过结合先验分布与似然得到的后验分布来估计参数,并以后验均值、后验中位数作为点估计。
应用领域
估计广泛应用于民意调查中的支持率预测、临床试验中的治疗效果估计、经济指标(失业率、物价上涨率)的测算、质量管理中的过程能力分析,以及机器学习的参数学习等。尤其是样本量设计、缺失值处理、偏差校正,是左右估计准确性的核心实务问题。
最新趋势
2024~2025年以来,估计方法论正朝着以下方向演进。
- 贝叶斯推断的普及化:随着MCMC、变分推断(variational inference)等计算技术的发展,以及概率编程语言(Stan、PyMC)的普及,分层贝叶斯模型正在产业现场迅速扩散。
- 因果推断的兴起:超越单纯的相关估计,估计政策与处理因果效应的需求日益增大,双重差分(DID)、工具变量、合成控制法、目标最大似然估计(TMLE)等半参数估计法受到关注。
- 与机器学习的融合:基于神经网络的密度估计、归一化流(normalizing flow)、利用扩散模型进行分布估计,正在与生成模型相结合。
- 不确定性量化:对深度学习预测给出置信区间的需求上升,共形预测(conformal prediction)备受瞩目。
- 样本偏差问题:在基于在线数据的估计中,确保代表性和调整权重(事后分层、耙平(raking))的重要性正被重新审视。
总之,估计已不再只是简单套用公式,而是正定位为一门要求对数据生成过程作出假设、并诚实报告不确定性的学问。
相关主题
- [[统计学]]
- [[假设检验]]
- [[置信区间]]
- [[最大似然估计]]
- [[贝叶斯定理]]
- [[抽样调查]]
- [[回归分析]]
- [[因果推断]]