聯合分布與共變異數

兩個隨機變數一起看,需要聯合分布 (joint distribution) $P(X=x, Y=y)$;把聯合機率對其中一個變數的所有值加總,就得到另一個變數的邊際分布 (marginal)。條件分布 $P(X\mid Y=y)$ 是取一行(列)再除以該行總和。

共變異數 (covariance) 衡量兩者一起變動的傾向:$$\text{Cov}(X,Y) = E[XY] - E[X]E[Y]$$ 正表示同向、負反向、0 叫不相關。標準化後是相關係數 $\rho\in[-1,1]$。獨立 ⟹ 不相關,反之不一定(如 $Y = X^2$ 可以 Cov 為 0 卻完全相依)。

重要公式:$\text{Var}(X+Y) = \text{Var}X + \text{Var}Y + 2\text{Cov}(X,Y)$——$\text{Cov}(X,Y) = 0$(不相關,例如獨立)時才能直接相加。

算例:$0/1$ 變數的 $E[XY] = P(X=1,Y=1)$,共變異數就是 $P(1,1) - P(X=1)P(Y=1)$。投資組合的風險分散、迴歸係數 $\frac{\text{Cov}(X,Y)}{\text{Var}X}$、PCA 的共變異數矩陣,都從這裡來。