Covariance
反映随机变量之间依赖关系的一个数字特征
一、基本定义
协方差定义为：｛(一个随机变量减去其期望) 乘以 (另一个随机变量减去其期望)｝ 的期望，实际上就是随机变量的函数的期望
Cov(X,Y) & =E\left\{[X-E(X)][Y-E(Y)] \right\} \\ &=E(XY)-E(X)E(Y) \end{align}$$ 若 $X$ 的取值为 $x_i$，$Y$ 的取值为 $y_j$，联合概率为p_{ij}=P(X=x_i,;Y=y_j),
并记 $m_1=E(X)$、$m_2=E(Y)$，则二者的协方差是\sigma_{12}=\sum_i\sum_j p_{ij}(x_i-m_1)(y_j-m_2).
这里必须使用联合概率 $p_{ij}$。两个变量各自的边缘概率只能给出各自均值和方差，不能决定“高于均值的 $X$ 是否常常和高于均值的 $Y$ 同时出现”。 $$\begin{align} Cov(X,Y)&=E[XY+E(X)E(Y)-XE(Y)-YE(X)] \\ &=E(XY)+E(X)E(Y)-E(Y)E(X)-E(X)E(Y) \\ &=E(XY)-E(X)E(Y) \end{align}$$ 特别的，当 $X,Y$ [[随机变量的独立性\|独立]] 时， $E(XY)=E(X)E(Y)$，所以协方差 $Cov(X,Y)=0$ 协方差的数值大小受变量单位和量级的影响，因此**它不是一个标准化的度量**，受 $X,Y$ 本身度量单位的影响, 引出[[相关系数\|相关系数]] $\rho_{XY}$ $$\begin{align} \rho_{XY}&= \dfrac{Cov(X,Y)}{\sqrt{ D(X)D(Y) }}\\ Cov(X,Y)&=\rho_{XY} \sqrt{ D(X)D(Y) } \end{align}$$ ### 二、协方差的性质 $$\begin{align} & Cov(X,X)=D(X) \\ & Cov(X,Y)=Cov(Y,X) \\ & Cov(aX,bY)=abCov(X,Y) \\ & Cov(C,X)=0\quad C为常数 \\ & Cov(X_{1}+X_{2},Y)=Cov(X_{1},Y)+Cov(X_{2},Y) \\ \end{align}$$ 协方差与[[方差\|方差]]的关系：D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
当 $X,Y$ 独立时，$D(X+Y)=D(X)+D(Y)$ $$\begin{align} Cov(X_{1}+X_{2},Y_{1}+Y_{2})&=Cov(X_{1},Y_{1}+Y_{2})+Cov(X_{2},Y_{1}+Y_{2}) \\ &=Cov(X_{1},Y_{1})+Cov(X_{1},Y_{2})+Cov(X_{2},Y_{1})+Cov(X_{2},Y_{2}) \end{align}$$ ### 三、联合概率、独立与边界 协方差衡量的是中心化后的乘积平均值：若 $X-m_1$ 与 $Y-m_2$ 经常同号，协方差为正；若经常异号，协方差为负；若正负抵消，则协方差为零。 当 $X,Y$ 独立时，$p_{ij}=p_iP_j$，于是\begin{align} \sigma_{12} &=\sum_i\sum_j p_iP_j(x_i-m_1)(y_j-m_2)\ &=\left[\sum_i p_i(x_i-m_1)\right]\left[\sum_j P_j(y_j-m_2)\right]=0. \end{align}
所以独立一定推出零协方差。但零协方差只说明线性共同变化为零，并不一般推出独立。例如令 $X\in\{-1,0,1\}$ 等概率取值，令 $Y=X^2$。此时 $E(X)=0$、$E(XY)=E(X^3)=0$，所以 $Cov(X,Y)=0$；但 $Y$ 完全由 $X$ 决定，二者显然不独立。 公平硬币例子能看出联合概率的作用。若两个硬币分开抛，四个结果 $(1,1),(1,0),(0,1),(0,0)$ 的概率都为 $\frac14$，两个变量独立，协方差为 $0$。若两个硬币同面粘在一起，只可能出现 $(1,1)$ 与 $(0,0)$，且概率各为 $\frac12$，则 $m_1=m_2=\frac12$，并且\sigma_{12} =\frac12\left(1-\frac12\right)^2 +\frac12\left(0-\frac12\right)^2 =\frac14.
此时 $\sigma_1=\sigma_2=\frac12$，所以 $\sigma_{12}=\sigma_1\sigma_2$，达到最大正协方差。对应的二维协方差矩阵为V_{\text{glue}} =\begin{bmatrix} \sigma_1^2 & \sigma_1\sigma_2\ \sigma_1\sigma_2 & \sigma_2^2 \end{bmatrix} =\begin{bmatrix} \frac14 & \frac14\ \frac14 & \frac14 \end{bmatrix},
其行列式为 $0$，表示两个变量完全线性依赖，协方差矩阵是奇异的。 协方差的绝对值受两个标准差约束：|\sigma_{12}|\le \sigma_1\sigma_2.
等号对应中心化变量几乎处处成线性比例；若某个变量方差为 $0$，它与任何变量的协方差都为 $0$，但这时不能再用相关系数衡量二者关系。 ### 四、线性组合中的作用 协方差正是方差在加法下多出的交叉项。对两个有有限方差的变量，Var(x+y)=\sigma_x^2+\sigma_y
因此正协方差会放大和的方差，负协方差会抵消一部分方差；当 $x,y$ 独立时，交叉项消失。