正交投影

向量 $\mathbf{b}$ 在 $\mathbf{a}$ 方向上的正交投影 (orthogonal projection) 是 $$\text{proj}_\mathbf{a}\mathbf{b} = \frac{\mathbf{a}\cdot\mathbf{b}}{\mathbf{a}\cdot\mathbf{a}}\mathbf{a}$$ 它是直線上離 $\mathbf{b}$ 最近的點,殘差 $\mathbf{b} - \text{proj}$ 垂直於 $\mathbf{a}$。純量投影 $\frac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{a}\|}$ 是帶正負號的「影子長度」。

投影矩陣 $P = \frac{\mathbf{a}\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}}$ 滿足 $P^2 = P$(投影兩次等於一次)與 $P^T = P$;推廣到子空間:$A$ 的行向量線性獨立時,投影到 $\text{Col}(A)$ 的矩陣是 $A(A^TA)^{-1}A^T$——$A$ 只有一行 $\mathbf{a}$ 時就退回上面的公式。

算例:$(3,4)$ 在 $(1,0)$ 上的投影是 $(3,0)$;在 $(1,1)$ 上是 $\frac{7}{2}(1,1)$。

「找最近的點」正是最小平方法的幾何本質;Fourier 係數是函數在正交基底上的投影;Gram–Schmidt 就是反覆扣投影。