先介绍无偏估计 是统计学中一个非常重要的概念。简单来说,如果我们用样本统计量去估计总体参数,当这个统计量的期望值等于总体参数的真实值时,我们就称这个统计量为该参数的无偏估计。
通俗地讲,无偏估计就是说,如果你反复多次地从总体中抽取样本,并用每个样本计算出的估计量来估计总体参数,那么这些估计量的平均值会越来越接近真实的总体参数。
设θ是总体的一个参数,θ̂ 是θ的一个估计量,如果对于任意θ,都有:
E(θ̂) = θ
则称θ̂ 是θ的无偏估计。其中,E(θ̂)表示估计量θ̂ 的期望。
样本均值是总体均值的无偏估计:
样本均值:x̄ = (x₁ + x₂ + ... + xn) / n
总体均值:μ
E(x̄) = μ
样本方差是有偏估计:
得到总体方差的无偏估计,我们通常使用以下公式:
s² = Σ(xi - x̄)² / (n - 1)
无偏估计: 期望等于真实值。有偏估计: 期望不等于真实值。
点估计是一种统计学方法,它的核心思想是:样本矩是总体矩的无偏估计。用于根据样本数据对总体中的未知参数进行估计。
就是用一个具体的数值来代表总体参数。例如,我们想估计一个班级的平均身高,就可以随机抽取一部分学生测量身高,然后用样本的平均身高来估计整个班级的平均身高。
矩估计:基于样本矩与总体矩相等的原理进行参数估计。当对分布形式了解较少,或计算复杂度较高时,矩估计是一种快速、简单的选择。
最大似然估计:基于似然函数最大化的原理进行参数估计。当对分布形式有较明确的假设,且计算资源充足时,最大似然估计通常能提供更准确的估计。
一般来说,最大似然估计的效率比矩估计更高,即得到的估计量方差更小。
矩对于一个随机变量X,其k阶原点矩定义为:
E(X^k)
其中,E表示数学期望。
k阶中心矩定义为:
E[(X-μ)^k]
其中,μ为随机变量X的均值。
原点矩: 数据值与原点距离的k次幂的平均值,反映了数据的分布形状。
中心矩: 数据值与均值距离的k次幂的平均值,反映了数据的离散程度。
相比于极大似然估计,矩估计的估计效率可能较低。
假设一个总体服从正态分布N(μ, σ²),我们想估计其均值μ和方差σ²。
总体一阶原点矩: E(X) = μ 描述了分布的中心位置。
总体二阶原点矩: E(X²) = σ² + μ²描述了分布的分散程度,也就是数据点偏离均值的程度。
根据样本数据,我们可以计算出样本的一阶原点矩(样本均值)和二阶原点矩。然后,令样本均值等于μ,样本二阶原点矩等于σ² + μ²,即可得到μ和σ²的矩估计。
正态分布:正态分布的特征就是其对称性和钟形曲线。它的偏度为0,表示分布是对称的。
指数分布:指数分布通常用于描述事件发生的时间间隔。它的偏度是正的,表示分布向右偏。
泊松分布:泊松分布常用于描述单位时间内随机事件发生的次数。它的形状取决于其参数λ,不同的λ会产生不同的分布形状。
最大似然估计是一种常用的参数估计方法。它基于这样一个直观思想:已知某个模型(如正态分布),我们观测到了一些数据,那么最合理的参数,就是能使这些已知数据出现的概率最大的参数。
换句话说,我们认为,发生概率最大的事件,最有可能就是真实发生的事情。
假设数据分布: 首先,我们假设数据服从某个特定的概率分布(如正态分布、泊松分布等),这个分布通常包含一些未知参数。
写出似然函数: 根据假设的分布,写出似然函数。似然函数表示在给定参数的情况下,观测到当前数据的概率。
求导并令导数为零: 将似然函数对未知参数求导,并令导数为零,得到似然方程。
求解方程: 解似然方程,得到使似然函数最大的参数估计值。
举个例子:假设我们有一组数据,我们认为这组数据服从正态分布。那么,我们希望估计这个正态分布的均值μ和方差σ²。
写出似然函数: 对于每个数据点x_i,其概率密度函数为:
f(x_i; μ, σ²) = (1 / (σ * sqrt(2π))) * exp(-(x_i - μ)² / (2σ²))
整个样本的似然函数就是各个数据点的概率密度函数的乘积。
求解方程: 对似然函数取对数,然后对μ和σ²求导,并令导数为零,可以得到μ和σ²的估计值。
找亮点