2021年618京享红包 - 618大促主会场
九阳 Joyoung电磁炉 电陶炉 2200W大功率 家用火锅套装 旋转控温 红外光波加热 H22-x3 赠烤盘
凯迪仕电子锁618狂欢购
有健康 更热爱
美丽雅品牌会员周

协方差详解角度:历史、数学、物理意义

我的怪脾气 1年前   阅读数 98 0
  • 同一个数据集内部不同数据之间关系

首先看什么是方差?方差是一个具体的数,用于度量一个数据集中各个数据之间的偏离程度,也就是该变量离其期望值的距离。
方差(wiki)、均值、中位数、四分位数、分布…这些量都是用于描述一个数据集的某方面的度量。

  • 不同数据集之间关系

那如何来描述不同数据集之间的关系呢?
这就用到协方差(covariance维基百科)和相关系数(correlation coefficient)。
协方差用来度量两个数据集之间的相似程度。
如果xy变化相同方向,协方差为正;
xy变化相反方向,协方差为负;
xy相互独立,协方差为0。
V a r ( X ) = E [ ( X μ ) 2 ] Var(X) = E[(X-\mu)^2] 方差
c o v ( X , Y ) = E ( ( X μ ) ( Y ν ) ) = E ( X Y ) μ ν cov(X,Y) = E((X-\mu)(Y-\nu))=E(X\cdot Y) - \mu\nu 协方差
方差是协方差的一个特例。

  • 协方差矩阵

  • (1) 两个随机变量独立
    f ( x 1 , x 2 ) = f 2 1 ( x 2 x 1 ) f 1 ( x 1 ) f(x1,x2)=f2|1(x2|x1)f1(x1)
    假设有一个实例,其中f2|1(x2|x1)不依赖于x1,
    f 2 ( x 2 ) = f 2 1 ( x 2 x 1 ) f 1 ( x 1 ) d x 1 = f 2 1 ( x 2 x 1 ) f 1 ( x 1 ) d x 1 = f 2 1 ( x 2 x 1 ) f2(x2)=∫^∞_{−∞}f2|1(x2|x1)f1(x1)dx1\\=f2|1(x2|x1)∫^∞_{−∞}f1(x1)dx1\\=f2|1(x2|x1)
    因此当f2|1(x2|x1)不依赖x1时,
    f 2 ( x 2 ) = f 2 1 ( x 2 x 1 ) f ( x 1 , x 2 ) = f 1 ( x 1 ) f 2 ( x 2 ) f_2(x_2)=f_{2|1}(x_2|x_1)\\f(x_1,x_2)=f_1(x_1)f_2(x_2)

  • (2)两个随机变量之间的相关性
    假定随机变量 ξ , η \xi , \eta 满足 V a r ( ξ ) V a r ( η ) 0 Var(\xi)Var(\eta) \neq 0 ,定义他们之间的相关系数为:
    ρ ξ , η = c o v ( ξ , η ) v a r ( ξ ) v a r ( η ) \rho_{\xi,\eta} = \frac{cov(\xi,\eta)}{\sqrt {var(\xi)} \sqrt {var(\eta)}}
    如果 ρ ξ , η = 0 \rho_{\xi, \eta} = 0 ,则称 ξ , η \xi ,\eta 是独立的。否则就是相关。
    此处所谈相关系数,本质反映的是“线性相关系数”,而非一般相关关系。

两个变量独立,一定是不相关的;
但不相关,并不一定是独立的。
从公式上可以看到,不相关与协方差为零是等价的。

  • Reference

  1. Covariance estimation
  2. sklearn中文手册
  3. 《概率论与数理统计》 31 协方差 – 中国科学技术大学
  4. 漫步数理统计十九——独立随机变量

注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: