正交投影

定义

Orthogonal Projection 正交投影是把向量送到某个子空间上的最近点，同时要求剩余误差垂直于该子空间。若 $S\subseteq {\mathbb{R}}^m$ 是子空间，$b\in {\mathbb{R}}^m$，则 $b$ 在 $S$ 上的正交投影是唯一向量 $p\in S$，满足

$$b=p+e,e=b-p\in S^{\perp }.$$

等价地，

$$p=\arg \underset{y\in S}{\min }\Vert b-y\Vert .$$

正交投影的本质不是“把图形垂直压下去”的直观动作，而是一个内积条件：

$$⟨b-p,y⟩=0,y\in S.$$

在实有限维空间中，这个条件写成 $e^{T}y=0$。它同时保证 $p$ 是最近点，因为对任意 $y\in S$，

$$b-y=e+(p-y),$$

且两项正交，所以

$$\Vert b-y{\Vert }^2=\Vert e{\Vert }^2+\Vert p-y{\Vert }^2\ge \Vert e{\Vert }^2.$$

实际计算时可以按三步走：先由正交误差条件求最佳系数 $\hat{x}$，再得到投影向量 $p$，最后把 $p$ 写成 $Pb$ 读出投影矩阵。直线投影和列空间投影的公式都是这三步的不同维数版本。

直线上的正交投影

若目标子空间是一条过原点的直线

$$S=\mathrm{span}(a),a\ne 0,$$

则投影点必有形式

$$p=\hat{x}a.$$

正交误差条件为

$$a^T(b-\hat{x}a)=0.$$

因此

$$\hat{x}=\frac{a^{T}b}{a^{T}a},$$

并且

$$p=a\frac{a^{T}b}{a^{T}a}.$$

这就是向量投影的基本公式。误差为

$$e=b-p=b-a\frac{a^{T}b}{a^{T}a},$$

并满足

$$a^{T}e=0.$$

直线投影矩阵为

$$P=\frac{a{a}^T}{a^{T}a},$$

所以

$$p=Pb,e=(I-P)b.$$

该矩阵满足

$$P^2=P=P^T.$$

投影到列空间

若目标子空间由矩阵 $A$ 的列张成，即

$$S=C(A),$$

则正交投影点写成

$$p=A\hat{x}.$$

误差为

$$e=b-A\hat{x}.$$

正交投影要求误差垂直于整个列空间，等价于垂直于 $A$ 的每一列：

$$A^T(b-A\hat{x})=0.$$

这给出正规方程

$$A^{T}A\hat{x}=A^{T}b.$$

若 $A$ 的列线性独立，则

$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b,$$

投影点为

$$p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b.$$

对应的正交投影矩阵是

$$P=A(A^{T}A{)}^{-1}{A}^T.$$

这里的可逆性边界是

$$A^{T}A\text{可逆}⟺A\text{列线性独立}.$$

理由是

$$N(A^{T}A)=N(A),$$

因为 $A^{T}Ax=0$ 蕴含

$$\Vert Ax{\Vert }^2=x^T{A}^{T}Ax=0.$$

若列向量相关，应先换成列空间的一组基，或用 QR、SVD、伪逆来表示同一个正交投影。

这里的逆矩阵只属于 $A^{T}A$，不能在一般情形下拆成 $A^{-1}(A^T{)}^{-1}$。当 $A$ 是矩形矩阵时 $A^{-1}$ 不存在；当 $A$ 方阵可逆时，$C(A)$ 已经是全空间，投影矩阵才等于 $I$。

伪逆给出的投影

当 $A$ 的列相关时，$A^{T}A$ 不可逆，但到列空间的正交投影仍然存在。若 $A^{+}$ 是伪逆，则

$$P_{C(A)}=A{A}^{+}.$$

这条公式不要求 $A$ 列满秩。若 $A=U\Sigma V^T$，秩为 $r$，则

$$A{A}^{+}=\sum _{i=1}^r{u}_i{u}_i^T,$$

正好是到 $u_1,\dots ,u_r$ 张成的列空间的投影。同理，

$$A^{+}A=\sum _{i=1}^r{v}_i{v}_i^T$$

是到行空间 $C(A^T)$ 的投影。

秩一矩阵

$$A=\sigma u{v}^T$$

中若 $u,v$ 是单位向量，则

$$A^{+}=\frac{v{u}^T}{\sigma },A{A}^{+}=u{u}^T,A^{+}A=v{v}^T.$$

这说明伪逆把投影公式从满列秩情形推广到了任意秩情形。

投影矩阵的结构

正交投影矩阵有两个核心代数特征：

$$P^2=P,P^T=P.$$

幂等性 $P^2=P$ 表示投影后的向量已经在目标子空间中；对称性 $P^T=P$ 表示误差方向与目标子空间正交。反过来，实矩阵只要同时满足这两个条件，就是某个子空间上的正交投影矩阵。

若 $P$ 投影到 $S$，则

$$C(P)=S,N(P)=S^{\perp }.$$

互补矩阵

$$I-P$$

也是正交投影矩阵，并且投影到 $S^{\perp }$：

$$(I-P{)}^2=I-P,(I-P{)}^T=I-P.$$

于是

$$b=Pb+(I-P)b$$

是标准的正交分解，且

$$\Vert b{\Vert }^2=\Vert Pb{\Vert }^2+\Vert (I-P)b{\Vert }^2.$$

若只有 $P^2=P$ 而没有 $P^T=P$，矩阵仍表示投影，但一般是斜投影；它的误差方向不一定垂直于目标子空间，因此不保证给出最近点。

标准例子

把

$$b=\left[\begin{array}{c}2\\ 3\\ 4\end{array}\right]$$

投影到 $z$ 轴，得到

$$p_1=\left[\begin{array}{c}0\\ 0\\ 4\end{array}\right],P_1=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right].$$

把同一个 $b$ 投影到 $xy$ 平面，得到

$$p_2=\left[\begin{array}{c}2\\ 3\\ 0\end{array}\right],P_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right].$$

这两个子空间互为正交补，所以

$$p_1+p_2=b,P_1+P_2=I.$$

再看一个列空间投影。令

$$A=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right],b=\left[\begin{array}{c}6\\ 0\\ 0\end{array}\right].$$

由

$$A^{T}A\hat{x}=A^{T}b$$

得

$$\hat{x}=\left[\begin{array}{c}5\\ -3\end{array}\right].$$

因此

$$p=A\hat{x}=\left[\begin{array}{c}5\\ 2\\ -1\end{array}\right],e=b-p=\left[\begin{array}{c}1\\ -2\\ 1\end{array}\right].$$

检查可知

$$A^{T}e=\left[\begin{array}{ccc}1& 1& 1\\ 0& 1& 2\end{array}\right]\left[\begin{array}{c}1\\ -2\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right],$$

所以 $e$ 垂直于列空间，$p$ 就是最近点。对应投影矩阵为

$$P=\frac{1}{6}\left[\begin{array}{ccc}5& 2& -1\\ 2& 2& 2\\ -1& 2& 5\end{array}\right],$$

它满足 $P^2=P=P^T$，且 $Pb=p$。

核心要点

• 直线投影由 $p=\hat{x}a$ 和 $a^T(b-\hat{x}a)=0$ 决定，因此 $\hat{x}=a^{T}b/a^{T}a$，$p=a(a^{T}b/a^{T}a)$。
• 直线投影矩阵是秩一矩阵 $P=a{a}^T/a^{T}a$，它把 $b$ 直接送到 $p=Pb$。
• 投影到任意子空间时，误差 $e=b-p$ 必须垂直于整个子空间。
• 若目标子空间是 $C(A)$ 且 $A$ 列满秩，则正规方程 $A^{T}A\hat{x}=A^{T}b$ 给出 $\hat{x}$，再由 $p=A\hat{x}$ 得到投影。
• 正交投影矩阵 $P=A(A^{T}A{)}^{-1}{A}^T$ 满足 $P^T=P$ 与 $P^2=P$；互补矩阵 $I-P$ 投影到 $C(A{)}^{\perp }=N(A^T)$。

相邻概念

投影定理给出正交投影存在、唯一和最近点性质；正交误差记录误差的垂直判别；投影矩阵把投影写成 $p=Pb$；最小二乘法把投影应用到不可精确求解的方程组 $Ax=b$。当目标空间是 $C(A)$ 时，正交投影的全部计算都围绕

$$A^T(b-A\hat{x})=0$$

展开，这条式子就是从几何正交性进入代数计算的桥梁。