biscuitの博客

协方差（Covariance）#

相关系数（Correlation Coefficient）#

标准化的协方差定义为：

TIP

如果 $\mathrm{Cov}(X,Y)=0$ ，则 $\rho_{XY}$ 得0。

直观理解：协方差主要用来描述两个变量的相关性，因此符号很重要，但从数值上看，哪怕两个变量的变化趋势（上升或下降）相同，协方差的值也可能会因为其中单个变量的变化幅度而有很大差别。有没有一种方法通过数值来描述相关性呢？我们可以同时除以两个变量的标准差来消除这个影响，就得到了相关系数

相关系数的大小和符号都可以反映两随机变量的线性相关性

• $-1 \leq \rho_{XY} \leq 1$ （证明可以用柯西施瓦茨不等式）

• $\rho=0$：无线性相关 （可能有别的非线性相关性）

• $\rho=1$：完全正相关 $\iff$ 存在常数 $a>0,b$ 使得 $Y=aX+b$

• $\rho=-1$：完全负相关 $\iff$ 存在常数 $a<0,b$ 使得 $Y=aX+b$

注意

$\rho=0$ 或 $\mathrm{Cov}(X,Y)=0$ 并不能推出 $X,Y$ 独立。

独立一定不相关，相关一定不独，反之不一定成立。

当且仅当 $X,Y$ 联合分布是二维正态分布时，不相关才能推出独立。

矩：原点矩，中心矩#

原点矩的定义：若 $\mathbb{E}(X^k)$ 存在，则称 $\mathbb{E}(X^k)$ 为随机变量 $X$ 的 k 阶原点矩，记作 $\alpha_k=\mathbb{E}(X^k)$

中心矩的定义：若 $\mathbb{E}[(X-\mathbb{E}(X))^k]$ 存在，则称 $\mathbb{E}[(X-\mathbb{E}(X))^k]$ 为随机变量 $X$ 的 k 阶中心矩，记作 $\beta_k=\mathbb{E}[(X-\mathbb{E}(X))^k]$

NOTE

注意这里k次方的位置

• 可以看出，数学期望 $\mathbf{E}$ 是随机变量的 1 阶原点矩，方差 $\mathbf{D}$ 是随机变量的 2 阶中心矩。

混合原点矩的定义：设 $(X,Y)$ 是二维随机变量，若 $\mathbb{E}(X^k Y^l)$ 存在，则称 $\mathbb{E}(X^k Y^l)$ 为二维随机变量 $(X,Y)$ 的 k+l阶混合原点矩，记作 $\alpha_{k,l}=\mathbb{E}(X^k Y^l)$

混合中心距的定义：设 $(X,Y)$ 是二维随机变量，若 $\mathbb{E}[(X-\mathbb{E}(X))^k (Y-\mathbb{E}(Y))^l]$ 存在，则称 $\mathbb{E}[(X-\mathbb{E}(X))^k (Y-\mathbb{E}(Y))^l]$ 为二维随机变量 $(X,Y)$ 的 k+l阶混合中心矩，记作 $\beta_{k,l}=\mathbb{E}[(X-\mathbb{E}(X))^k (Y-\mathbb{E}(Y))^l]$

• 可以看出，协方差 $\mathrm{Cov}(X,Y)$ 是二维随机变量 $(X,Y)$ 的 1+1 阶混合中心矩。

协方差矩阵(了解)（Covariance Matrix）#

TIP

协方差矩阵就是多为随机变量的方差，是一维随机变量方差的推广,从数变成矩阵了。

对于随机向量

随机向量的协方差用于描述随机向量中每个分量的离散程度（方差）（对角线上）以及不同分量之间的线性相关性（协方差）（非对角线上）。定义为：

展开为：

推导过程

$$(X-\mu)=\begin{bmatrix} X_1-\mathbb{E}[X_1]\\ X_2-\mathbb{E}[X_2]\\ X_3-\mathbb{E}[X_3]\\ \dotsb\\ X_n-\mathbb{E}[X_n]\\ \end{bmatrix}\\[5bp] (X-\mu)(X-\mu)^T=\begin{bmatrix} (X_1-\mathbb{E}[X_1])^2 & (X_1-\mathbb{E}[X_1])\cdot(X_2-\mathbb{E}[X_2]) & \dotsb &(X_1-\mathbb{E}[X_1])\cdot(X_n-\mathbb{E}[X_n])\\ (X_2-\mathbb{E}[X_1])(X_1-\mathbb{E}[X_1]) & (X_2-\mathbb{E}[X_2])^2 & \dotsb &(X_1-\mathbb{E}[X_1])\cdot(X_n-\mathbb{E}[X_n])\\ \vdots&\vdots&\ddots&\vdots\\ (X_n-\mathbb{E}[X_n])\cdot(X_1-\mathbb{E}[X_1]) & (X_n-\mathbb{E}[X_n])\cdot(X_2-\mathbb{E}[X_2]) &\dotsb&(X_n-\mathbb{E}[X_n])^2 \end{bmatrix}$$

矩阵中的每一个元素(i,j)为

$$(X_i-\mathbb{E}[X_i])\cdot(X_j-\mathbb{E}[X_j])$$

而期望$\mathbb{E}$是线性作用于对象，即对矩阵中的每一个元素取期望

$$\Sigma_{ij}=\mathbb{E}[(X_i-\mathbb{E}[X_i])\cdot(X_j-\mathbb{E}[X_j])]$$

由方差以及协方差的定义式：

对于对角线元素: $i=j$

$$\mathbb{E}[\Sigma_{ij}]=\mathbb{E}[(X_i-\mathbb{E}[X_i])^2]=\mathrm{Var}(X_i)$$

对于非对角线元素: $i\neq j$

$$\mathbb{E}[\Sigma_{ij}]=\mathbb{E}[(X_i-\mathbb{E}[X_i])(X_j-\mathbb{E}[X_j])]=\mathrm{Cov}(X_i,X_j)$$

当然，也许不必把每个元素都清清楚楚的算出来，$\Sigma=\mathbb{E}[XX^T]-\mu\mu^T$ 是更简单也更常用的式子。

推导过程

$$\begin{aligned} \Sigma = \mathrm{Cov}(X) &= \mathbb{E}[(X-\mu)(X-\mu)^T]\\ &=\mathbb{E}[XX^T-X\mu^T-\mu X^T+\mu\mu^T]\\ \because \mathbb{E}[X]&=\mu\\ \therefore \;\Sigma&=\mathbb{E}[XX^T]-\mu\mu^T \end{aligned}$$

五、直观例子#

• $X$ = 小车位置，$Y$ = 小车速度
• 若 $X,Y$ 独立：协方差 = 0 → 协方差矩阵是对角的
• 若速度越大时位置偏离越大：协方差 > 0
• 若速度越大时位置更接近原点：协方差 < 0

这就是为什么在卡尔曼滤波中，状态协方差矩阵 $P$ 要随着预测和观测不断更新，它反映了不确定性和相关性。