相关系数

Correlation Coefficient ${\rho }_{XY}$

刻画了随机变量之间的线性相关程度

\rho_{XY} & =\dfrac{Cov(X,Y)}{\sqrt{ D(X)D(Y) }} =\dfrac{E[(X-E(X) )(Y-E(Y))]}{\sqrt{ D(X)D(Y) }} \\ \\ &=E\left[ \left(\dfrac{X-E(X)}{\sqrt{ D(X) }}\right) \left(\dfrac{Y-E(Y)}{\sqrt{ D(Y) }}\right)\right] \end{align}$$ - [[协方差\|协方差]]的一种标准化形式，它通过除以两个变量的标准差来消除量纲和量级的影响，使得相关系数的值域在 -1 到 1 之间。 $|\rho_{XY}|\leq 1$ - 提供了一个无单位的度量，使得不同数据集的相关性可以进行比较。 - $|\rho_{XY}|$ 的值越接近 1，线性相关程度越高；$|\rho_{XY}|$ 的值越接近 0，线性相关程度越弱 - $\left\lvert \rho_{XY} \right\rvert=1$ ：存在常数 $a,b$ 使得 $P\left\{Y=a+bx \right\}=1$ 。也称为 $Y$ 的变换完全由 $X$ 的线性函数给出 - $\rho_{XY}=0$ ：称 $X,Y$ 不相关。 注意： - $X,Y$ [[随机变量的独立性\|相互独立]]时，$\rho_{XY}=0$，称 $X,Y$ 不相关 - 但是 $X,Y$ 不相关，不一定能推出 $X,Y$ 相互独立 - （如果 $X,Y$ 服从[[多维正态分布\|二维正态分布]]，则：相互独立与不相关等价） **均方误差** $e$： $$\begin{align} e=E[Y-(a+bX)]^{2} \end{align}$$ [[最小二乘法\|最小二乘法]] 用 $a+bX$ 来近似 $Y$ 的均方误差 当 $a_{0},b_{0}$ 满足以下关系时，可以使得均方误差最小 $$\begin{align} & a_{0}=E(Y)-E(X)\cdot \dfrac{Cov(X,Y)}{D(X)} \quad \quad b_{0}=\dfrac{Cov(X,Y)}{D(X)} \end{align}$$ 均方误差的最小值： $$\begin{align} min\, \{e\} &=E\left[Y-(a_{0}+b_{0}X)^{2}\right] =(1-\rho^{2}_{XY})D(Y) \end{align}$$ --- ## AI 结构化补充（2026-05-02） **Correlation Coefficient** $\rho_{XY}$ > 刻画了随机变量之间的**线性相关程度** ### 一、定义与标准化 $$\begin{align} \rho_{XY} & =\dfrac{Cov(X,Y)}{\sqrt{ D(X)D(Y) }} =\dfrac{E[(X-E(X) )(Y-E(Y))]}{\sqrt{ D(X)D(Y) }} \\ \\ &=E\left[ \left(\dfrac{X-E(X)}{\sqrt{ D(X) }}\right) \left(\dfrac{Y-E(Y)}{\sqrt{ D(Y) }}\right)\right] \end{align}$$ 若记 $\sigma_{xy}=Cov(X,Y)$、$\sigma_x=\sqrt{D(X)}$、$\sigma_y=\sqrt{D(Y)}$，则

\rho_{xy}=\frac{\sigma_{xy}}{\sigma_x\sigma_y}.

相关系数就是把 $X,Y$ 各自中心化并缩放到单位标准差后得到的[[协方差\|协方差]]。它消除了量纲和尺度影响，所以变量从米换成厘米不会改变 $\rho$。 ### 二、取值范围与含义 由 $|\sigma_{xy}|\le\sigma_x\sigma_y$ 得到

-1\le\rho_{xy}\le1.

- $|\rho_{XY}|$ 越接近 $1$，线性相关程度越高；越接近 $0$，线性共同变化越弱。 - $\rho_{XY}=1$ 表示两个中心化变量同向成比例。 - $\rho_{XY}=-1$ 表示两个中心化变量反向成比例。 - $\rho_{XY}=0$ 称为不相关，只表示线性协方差为零。 若 $Y=-X$ 且 $D(X)>0$，则 $\sigma_y=\sigma_x$、$\sigma_{xy}=-\sigma_x^2$，所以

\rho_{xy}=-1.

$$对应的二维相关矩阵为$$

R=\begin{bmatrix} 1 & -1\ -1 & 1 \end{bmatrix},

其行列式为 $0$，因为第二个变量完全由第一个变量线性决定。 ### 三、独立、不相关与边界 $X,Y$ [[随机变量的独立性\|相互独立]]时，$\sigma_{xy}=0$，因此 $\rho_{XY}=0$。反过来，$\rho_{XY}=0$ 不一定推出独立。例如 $X\in\{-1,0,1\}$ 等概率取值，$Y=X^2$，则 $Cov(X,Y)=0$，但 $Y$ 由 $X$ 决定。 只有在额外结构下，例如 $(X,Y)$ 服从[[多维正态分布\|二维正态分布]]时，不相关才与独立等价。 相关系数需要 $\sigma_x>0$ 且 $\sigma_y>0$。若某个变量是常数，标准差为 $0$，协方差仍可定义，但相关系数没有定义。相关系数也只刻画线性关系，不能排除强非线性依赖。 ### 四、与线性最小二乘 **均方误差** $e$： $$\begin{align} e=E[(Y-(a+bX))^{2}] \end{align}$$ [[最小二乘法\|最小二乘法]] 用 $a+bX$ 来近似 $Y$ 的均方误差 当 $a_{0},b_{0}$ 满足以下关系时，可以使得均方误差最小 $$\begin{align} & a_{0}=E(Y)-E(X)\cdot \dfrac{Cov(X,Y)}{D(X)} \quad \quad b_{0}=\dfrac{Cov(X,Y)}{D(X)} \end{align}$$ 均方误差的最小值： $$\begin{align} min\, \{e\} &=E\left[(Y-(a_{0}+b_{0}X))^{2}\right] =(1-\rho^{2}_{XY})D(Y) \end{align}$$