方差是均值之上的产物,然后协方差又比方差更近一步,然后带个矩阵的话,可以说明很多变量的关系。
协方差(Covariance)是用于衡量两个随机变量之间线性关系的强度和方向。协方差告诉我们两个变量是趋向于一起增大或减小(正相关),还是一个增大而另一个减小(负相关),或者两者之间没有明显的线性关系。
假设有两个随机变量X和Y,它们的期望分别为E(X)和E(Y),那么X和Y的协方差Cov(X,Y)定义为:
Cov(X, Y) = E[(X - E(X))(Y - E(Y))]
计算每个变量与各自均值的偏差:X - E(X)表示X的每个取值与X的平均值之间的差值,Y - E(Y)同理。
计算偏差的乘积:将两个变量的偏差相乘,如果两个变量同时大于或小于均值,乘积为正;如果一个大于均值,另一个小于均值,乘积为负。
计算乘积的期望:对所有可能的样本点上的乘积求平均,得到协方差。
协方差的意义:
正协方差: 表示两个变量呈正相关,即一个变量增大,另一个变量也倾向于增大。
负协方差: 表示两个变量呈负相关,即一个变量增大,另一个变量倾向于减小。
零协方差: 表示两个变量之间不存在线性关系,但并不意味着两个变量之间完全独立。
对称性: Cov(X, Y) = Cov(Y, X),线性性: Cov(aX+b, cY+d) = acCov(X, Y) (a, b, c, d为常数),方差是特殊的协方差: Var(X) = Cov(X, X)。
协方差矩阵是一个方阵,它描述了多个随机变量之间的协方差关系。
协方差矩阵想象成一个弹簧系统。如果两个变量的协方差很大,那么它们就像两个紧密连接的弹簧,当一个弹簧伸展时,另一个弹簧也会跟着伸展。而如果两个变量的协方差很小,那么它们就像两个松散连接的弹簧,一个弹簧的运动对另一个弹簧的影响很小。
简单来说,它可以告诉我们:
各个变量的方差: 协方差矩阵对角线上的元素就是各个变量的方差,反映了每个变量自身数据的离散程度。
变量之间的协方差: 协方差矩阵非对角线上的元素表示不同变量之间的协方差,反映了两个变量之间的线性相关性。
对真实的世界建模-概率论(分布&计算) 关于方差在这个里面稍微写了一下。
协方差的含义:
正协方差: 两个变量的变化趋势一致,即一个变量增大时,另一个变量也倾向于增大。
负协方差: 两个变量的变化趋势相反,即一个变量增大时,另一个变量倾向于减小。
零协方差: 两个变量之间没有线性关系。
C = [cov(X1, X1) cov(X1, X2) ... cov(X1, Xn)]
[cov(X2, X1) cov(X2, X2) ... cov(X2, Xn)]
[ ... ... ... ... ]
[cov(Xn, X1) cov(Xn, X2) ... cov(Xn, Xn)]
其中,cov(Xi, Xj)表示随机变量Xi和Xj的协方差。协方差矩阵是一个对称矩阵,即cov(Xi, Xj) = cov(Xj, Xi)。