投影定理

投影定理，Projection Theorem 投影定理是Hilbert空间理论中最基本且最重要的定理之一，它不仅是泛函分析的核心结果，还在最小二乘法、信号处理、优化理论、偏微分方程等领域有广泛应用。投影定理解决了最佳逼近问题：给定Hilbert空间中的一个点和闭凸集，找到该集合中与这个点最近的元素。

一、问题的提出

1.1 最佳逼近问题

设 $H$ 是Hilbert空间，$M\subset H$ 是一个子集，$x\in H$ 是一个给定点。我们想要找到 $u\in M$ 使得：

$$\Vert x-u\Vert =\underset{v\in M}{\inf }\Vert x-v\Vert$$

即：在 $M$ 中找到与 $x$ 距离最近的点 $u$。

几何直观（在 ${\mathbb{R}}^3$ 中）：

• 若 $M$ 是平面，$u$ 是 $x$ 在平面上的垂足
• 若 $M$ 是直线，$u$ 是 $x$ 在直线上的垂足
• $\overrightarrow{xu}$ 与 $M$ “垂直”

1.2 为什么需要投影定理？

有限维情况（${\mathbb{R}}^n$）：

• 闭集上的连续函数 $\Vert x-\cdot \Vert$ 必有最小值
• 唯一性由凸性保证

无穷维情况：

• 需要完备性保证Cauchy序列收敛
• 需要凸性保证唯一性
• 需要正交性刻画最优条件

二、投影定理的陈述

2.1 一般形式（闭凸集）

定理（投影定理）：设 $H$ 是Hilbert空间，$M\subset H$ 是非空闭凸集。对任意 $x\in H$：

1. 存在性：存在唯一的 $u\in M$ 使得：

   $$\Vert x-u\Vert =\underset{v\in M}{\inf }\Vert x-v\Vert$$

2. 变分不等式（最优性条件）：

   $$\mathrm{Re}⟨x-u,v-u⟩\le 0,\forall v\in M$$

3. 几何意义：$x-u$ 与 $M$ “垂直”（在某种意义上）

证明（存在性）：

步骤1：设 $d={\inf }_{v\in M}\Vert x-v\Vert$，取极小化序列 $\{v_n{\}}_{n=1}^{\infty }\subset M$ 使得 $\Vert x-v_n\Vert \to d$。

步骤2：证明 $\{v_n\}$ 是Cauchy序列。利用平行四边形法则：

$$\begin{array}{rl}\Vert v_m-v_n{\Vert }^2& =\Vert (x-v_n)-(x-v_m){\Vert }^2\\ & =2\Vert x-v_n{\Vert }^2+2\Vert x-v_m{\Vert }^2-|(x-v_n)+(x-v_m){|}^2\\ & =2\Vert x-v_n{\Vert }^2+2\Vert x-v_m{\Vert }^2-4{\Vert x-\frac{v_n+v_m}{2}\Vert }^2\end{array}$$

由于 $M$ 是凸集，$\frac{v_n+v_m}{2}\in M$，故：

$${\Vert x-\frac{v_n+v_m}{2}\Vert }^2\ge d^2$$

因此：

$$\Vert v_m-v_n{\Vert }^2\le 2\Vert x-v_n{\Vert }^2+2\Vert x-v_m{\Vert }^2-4d^2\to 0(m,n\to \infty )$$

步骤3：由 $H$ 的完备性，存在 $u\in H$ 使得 $v_n\to u$。由 $M$ 是闭集，$u\in M$。由范数的连续性，$\Vert x-u\Vert =d$。∎

证明（唯一性）：

设 $u_1,u_2\in M$ 都是最小范数解。由凸性，$\frac{u_1+u_2}{2}\in M$。利用平行四边形法则：

$$\begin{array}{rl}\Vert x-\frac{u_1+u_2}{2}{\Vert }^2& ={\Vert \frac{(x-u_1)+(x-u_2)}{2}\Vert }^2\\ & \le \frac{1}{4}\left(\Vert x-u_1{\Vert }^2+\Vert x-u_2{\Vert }^2+2\mathrm{Re}⟨x-u_1,x-u_2⟩\right)\end{array}$$

但由于 $\Vert x-u_1\Vert =\Vert x-u_2\Vert =d$ 是最小值，必有 $\Vert x-\frac{u_1+u_2}{2}\Vert =d$，这推出 $u_1=u_2$。∎

2.2 特殊形式（闭线性子空间）

定理：设 $M$ 是Hilbert空间 $H$ 的闭线性子空间。对任意 $x\in H$，存在唯一的分解：

$$x=u+w,u\in M,w\in M^{\perp }$$

其中 $M^{\perp }=\{z\in H:⟨z,v⟩=0,\forall v\in M\}$ 是 $M$ 的正交补。

等价条件：

$$⟨x-u,v⟩=0,\forall v\in M$$

即 $x-u\perp M$。

证明：由闭凸集的投影定理，取 $u$ 为最小范数解。由于 $M$ 是线性子空间，对任意 $v\in M$ 和 $\alpha \in \mathbb{C}$，$u+\alpha v\in M$。由变分不等式：

$$\mathrm{Re}⟨x-u,(u+\alpha v)-u⟩=\mathrm{Re}(\alpha ⟨x-u,v⟩)\le 0$$

由于 $\alpha$ 可任意取值（正负、实虚），必有 $⟨x-u,v⟩=0$。∎

几何意义：$u$ 是 $x$ 在 $M$ 上的正交投影。

三、正交投影算子

3.1 定义与基本性质

定义：设 $M$ 是Hilbert空间 $H$ 的闭线性子空间。正交投影算子 $P:H\to M$ 定义为：

$$Px=u,\text{其中 }x=u+w,u\in M,w\in M^{\perp }$$

基本性质：

定理 1：正交投影算子 $P$ 满足：

1. 线性性：$P(\alpha x+\beta y)=\alpha Px+\beta Py$
2. 幂等性：$P^2=P$（$P$ 是投影）
3. 自伴性：$⟨Px,y⟩=⟨x,Py⟩$
4. 范数：$\Vert P\Vert =1$（若 $M\ne \{0\}$）

证明：

1. 线性性：由投影定理，分解是线性的。

2. 幂等性：对任意 $x\in H$，$Px\in M$，故 $P(Px)=Px$。

3. 自伴性：设 $x=u_1+w_1$，$y=u_2+w_2$（$u_i\in M,w_i\in M^{\perp }$）：

   $$⟨Px,y⟩=⟨u_1,u_2+w_2⟩=⟨u_1,u_2⟩$$

   类似地：

   $$⟨x,Py⟩=⟨u_1+w_1,u_2⟩=⟨u_1,u_2⟩$$

4. 范数：$\Vert Px\Vert \le \Vert x\Vert$（由正交分解），且 $\Vert P\Vert \ge \Vert P^2\Vert =\Vert P\Vert$，故 $\Vert P\Vert =1$（当 $M\ne \{0\}$）。∎

3.2 投影算子的刻画

定理：有界线性算子 $P:H\to H$ 是正交投影算子的充要条件是：

1. $P^2=P$（幂等）
2. $P^{\ast }=P$（自伴）

证明：

• ($⟹$)：已证。
• ($⟸$)：设 $M=\mathrm{Ran}P$。由 $P^2=P$，$M$ 是闭子空间。对任意 $x\in H$，设 $Px=u\in M$，$(I-P)x=w$。由 $P^{\ast }=P$： $$⟨u,w⟩=⟨Px,(I-P)x⟩=⟨x,P(I-P)x⟩=⟨x,(P-P^2)x⟩=0$$ 故 $w\in M^{\perp }$。∎

四、应用

4.1 最小二乘法

问题：给定 $A\in {\mathbb{C}}^{m\times n}$ 和 $b\in {\mathbb{C}}^m$，求解线性方程组 $Ax=b$（可能无解）。

最小二乘解：求 $x$ 使得：

$$\Vert Ax-b\Vert =\underset{y\in {\mathbb{C}}^n}{\min }\Vert Ay-b\Vert$$

几何解释：

• 设 $M=\mathrm{Ran}A=\{Ax:x\in {\mathbb{C}}^n\}$（${\mathbb{C}}^m$ 的子空间）
• 求 $b$ 在 $M$ 上的正交投影 $u=Px$
• $u=Ax$ 是 $b$ 的最佳逼近

正交性条件（由投影定理）：

$$⟨b-Ax,Ay⟩=0,\forall y\in {\mathbb{C}}^n$$

等价于正规方程组：

$$A^{\ast }(b-Ax)=0⟹A^{\ast }Ax=A^{\ast }b$$

解：

• 若 $\mathrm{rank}A=n$（满列秩），则 $A^{\ast }A$ 可逆，唯一解： $$x=(A^{\ast }A{)}^{-1}{A}^{\ast }b$$
• 否则，有无穷多解，最小范数解为： $$x=A^{+}b$$ 其中 $A^{+}$ 是Moore-Penrose伪逆。

4.2 信号处理

问题：从观测信号 $y(t)=s(t)+n(t)$ 中恢复有用信号 $s(t)$，其中 $n(t)$ 是噪声。

投影方法：

• 假设 $s(t)$ 在某个子空间 $M$ 中（如带限信号空间）
• 求 $y$ 在 $M$ 上的正交投影 $\hat{s}=Py$
• $\hat{s}$ 是最优估计（最小均方误差）

例子：低通滤波

• $M$：低频信号空间
• $P$：低通滤波算子
• $\hat{s}=Py$：滤除高频噪声

4.3 函数逼近

问题：给定 $f\in L^2[a,b]$ 和有限维子空间 $M=\mathrm{span}\{{\varphi }_1,\dots ,{\varphi }_n\}$，求最佳逼近：

$$\underset{g\in M}{\min }\Vert f-g{\Vert }_{L^2}$$

正交投影：设 $\{{\varphi }_1,\dots ,{\varphi }_n\}$ 是线性无关的，最佳逼近为：

$$g^{\ast }=\sum _{i=1}^n{c}_i{\varphi }_i$$

其中系数 $\{c_i\}$ 满足投影条件：

$$⟨f-g^{\ast },{\varphi }_j⟩=0,j=1,\dots ,n$$

即Galerkin方程组：

$$\sum _{i=1}^n{c}_i⟨{\varphi }_i,{\varphi }_j⟩=⟨f,{\varphi }_j⟩,j=1,\dots ,n$$

写成矩阵形式：

$$Gc=b$$

其中 $G_{ij}=⟨{\varphi }_i,{\varphi }_j⟩$ 是Gram矩阵，$b_j=⟨f,{\varphi }_j⟩$。

特例（正交基）：若 $\{{\varphi }_i\}$ 是标准正交的，则：

$$c_i=⟨f,{\varphi }_i⟩$$

这就是Fourier系数！

4.4 偏微分方程

Galerkin方法：求解偏微分方程的弱解。

例子（Poisson方程）：

$$\{\begin{array}{ll}-\Delta u=f& \text{in }\Omega \\ u=0& \text{on }\partial \Omega \end{array}$$

弱形式：求 $u\in H_0^1(\Omega )$ 使得：

$${\int }_{\Omega }\nabla u\cdot \nabla vdx={\int }_{\Omega }fvdx,\forall v\in H_0^1(\Omega )$$

Galerkin逼近：取有限维子空间 $V_h\subset H_0^1(\Omega )$，求 $u_h\in V_h$ 使得：

$${\int }_{\Omega }\nabla u_h\cdot \nabla v_{h}dx={\int }_{\Omega }f{v}_{h}dx,\forall v_h\in V_h$$

这是在 $V_h$ 上的正交投影问题（在能量内积下）。

4.5 统计学（回归分析）

线性回归：给定数据 $(x_i,y_i{)}_{i=1}^m$，拟合模型 $y={\beta }_0+{\beta }_{1}x$。

最小二乘估计：求 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 使得：

$$\sum _{i=1}^m(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i{)}^2=\underset{{\beta }_0,{\beta }_1}{\min }\sum _{i=1}^m(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$

矩阵形式：设 $y=(y_1,\dots ,y_m{)}^T$，$X=\left(\begin{array}{cc}1& x_1\\ ⋮& ⋮\\ 1& x_m\end{array}\right)$，$\beta =({\beta }_0,{\beta }_1{)}^T$。则：

$$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}y$$

这与投影定理中的正规方程组完全一致！

五、推广

5.1 斜投影

定义：设 $H=M\oplus N$（直和分解，不一定正交），定义斜投影算子 $P:H\to M$ 为：

$$Px=m,\text{其中 }x=m+n,m\in M,n\in N$$

性质：

• $P^2=P$（幂等）
• 但 $P^{\ast }\ne P$（不自伴，除非 $N=M^{\perp }$）

5.2 Banach空间的度量投影

问题：在Banach空间中，最佳逼近问题更复杂：

• 存在性：需要空间是自反的
• 唯一性：需要空间是严格凸的
• 没有”正交”概念

例子：在 $L^1$ 空间中，最佳逼近可能不唯一。

---

参考链接

• Hilbert空间
• 正交性
• Riesz表示定理
• 函数空间

参考文献

1. Rudin, W. (1991). Functional Analysis (2nd ed.). McGraw-Hill.
2. Lax, P. D. (2002). Functional Analysis. Wiley-Interscience.
3. Kreyszig, E. (1978). Introductory Functional Analysis with Applications. Wiley.
4. Golub, G. H., & Van Loan, C. F. (2013). Matrix Computations (4th ed.). Johns Hopkins University Press.

---

AI 结构化补充（2026-05-02）

定理陈述

Projection Theorem 投影定理说明：在带有内积的空间中，把一个向量投到一个闭线性子空间上，等价于把它分解成“子空间内的最近点”和“垂直于该子空间的误差”。有限维线性代数中的投影、正规方程和最小二乘，都是这个定理的具体形式。

设 $S$ 是内积空间中的线性子空间，$b$ 是给定向量。若存在

$$b=p+e,p\in S,e\in S^{\perp },$$

则 $p$ 称为 $b$ 在 $S$ 上的正交投影。这个 $p$ 是 $S$ 中离 $b$ 最近的唯一向量：

$$\Vert b-p\Vert =\underset{y\in S}{\min }\Vert b-y\Vert .$$

反过来，若 $p\in S$ 是最近点，则误差

$$e=b-p$$

必须满足

$$e\perp S.$$

在有限维空间中，每个子空间都是闭的，因此上述结论总可用于直线、平面和列空间。若在 Hilbert 空间中工作，则需要 $S$ 是闭子空间；不闭的子空间可能只有距离下确界，而没有真正达到下确界的最近点。

最近点与正交误差

投影定理的几何核心是一条勾股分解。若 $p\in S$ 且 $e=b-p\perp S$，任取 $y\in S$，则

$$b-y=e+(p-y).$$

因为 $p-y\in S$ 且 $e\perp S$，有

$$\Vert b-y{\Vert }^2=\Vert e{\Vert }^2+\Vert p-y{\Vert }^2\ge \Vert e{\Vert }^2.$$

等号当且仅当 $y=p$。所以正交误差条件不仅说明 $p$ 是一个候选点，而且直接证明 $p$ 是最近点。

最近点也反推出正交误差。若 $p$ 是最近点，对任意 $v\in S$ 考察

$$f(t)=\Vert b-(p+tv){\Vert }^2=\Vert e-tv{\Vert }^2.$$

$t=0$ 是最小点，因此

$$f^{\prime }(0)=-2e^{T}v=0.$$

由于 $v$ 任意，得到 $e\perp S$。这说明正交误差不是额外性质，而是最佳逼近的等价刻画。

列空间形式

令

$$A=[a_1\cdots a_n]\in {\mathbb{R}}^{m\times n},$$

目标子空间为列空间 $C(A)$。投影点一定可以写成

$$p=A\hat{x}.$$

误差为

$$e=b-A\hat{x}.$$

投影定理要求 $e$ 垂直于 $C(A)$，也就是垂直于 $A$ 的每一列：

$$A^T(b-A\hat{x})=0.$$

这就是正规方程

$$A^{T}A\hat{x}=A^{T}b.$$

当 $A$ 的列线性无关时，$A^{T}A$ 可逆，因而

$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b,$$

并且

$$p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b.$$

把乘在 $b$ 前面的线性算子单独写出，得到

$$P=A(A^{T}A{)}^{-1}{A}^T,p=Pb.$$

这个矩阵的列空间就是目标空间 $C(A)$；当 $A$ 有 $n$ 个线性无关列时，$\mathrm{rank}P=n$。

线投影是这个公式的 $n=1$ 情形。若 $A$ 只有一列 $a$，则

$$p=a\frac{a^{T}b}{a^{T}a}.$$

这正是向量投影中的直线投影公式。

$A^{T}A$ 的可逆边界

公式

$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$

的前提不是 $A$ 是方阵，而是 $A$ 的列向量线性无关。关键事实是

$$N(A^{T}A)=N(A).$$

一方面，若 $Ax=0$，则自然有 $A^{T}Ax=0$。另一方面，若

$$A^{T}Ax=0,$$

左乘 $x^T$ 得

$$x^T{A}^{T}Ax=(Ax{)}^T(Ax)=\Vert Ax{\Vert }^2=0,$$

所以 $Ax=0$。因此两者零空间相同。

于是

$$A^{T}A\text{可逆}⟺N(A^{T}A)=\{0\}⟺N(A)=\{0\}⟺A\text{列线性独立}.$$

若列向量相关，正规方程仍能表达正交条件，但不能直接用 $(A^{T}A{)}^{-1}$ 写出唯一系数；应改用列空间的一组基、QR 分解、SVD 或 Moore-Penrose 伪逆。

这里不能把 $(A^{T}A{)}^{-1}$ 误拆成 $A^{-1}(A^T{)}^{-1}$。列空间投影中的 $A$ 通常是矩形矩阵，没有 $A^{-1}$；如果 $A$ 恰好是方阵且可逆，那么 $C(A)={\mathbb{R}}^m$，投影矩阵确实是 $I$，误差也确实是 $0$，但那已经是特殊满空间情形。

投影矩阵与互补分解

当 $A$ 列满秩时，投影到 $C(A)$ 的投影矩阵是

$$P=A(A^{T}A{)}^{-1}{A}^T.$$

对任意 $b$，

$$p=Pb,e=b-p=(I-P)b.$$

这个矩阵满足

$$P^2=P,P^T=P.$$

幂等性来自“已经在 $C(A)$ 中的向量再投影仍是自己”，对称性来自正交投影的误差方向。互补算子也满足

$$(I-P{)}^2=I-P,(I-P{)}^T=I-P,$$

并且把向量投到

$$C(A{)}^{\perp }=N(A^T).$$

因此每个向量都有正交分解

$$b=Pb+(I-P)b,$$

两部分分别属于 $C(A)$ 与 $C(A{)}^{\perp }$。

边界情形也由此统一：若 $C(A)={\mathbb{R}}^m$，则 $P=I$、误差为零；若 $C(A)=\{0\}$，则 $P=0$、整个 $b$ 都是误差；若 $b\in C(A)$，则 $Pb=b$；若 $b\perp C(A)$，则 $Pb=0$。

例子

把

$$b=\left[\begin{array}{c}2\\ 3\\ 4\end{array}\right]$$

投影到 $z$ 轴和 $xy$ 平面上，得到

$$p_1=\left[\begin{array}{c}0\\ 0\\ 4\end{array}\right],p_2=\left[\begin{array}{c}2\\ 3\\ 0\end{array}\right].$$

对应矩阵为

$$P_1=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right],P_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right].$$

它们满足

$$P_1^2=P_1,P_2^2=P_2,P_1+P_2=I.$$

$z$ 轴与 $xy$ 平面互为正交补，所以这两个投影把同一个向量拆成两个正交分量。

再看列空间例子：

$$A=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right],b=\left[\begin{array}{c}6\\ 0\\ 0\end{array}\right].$$

先计算

$$A^{T}A=\left[\begin{array}{cc}3& 3\\ 3& 5\end{array}\right],A^{T}b=\left[\begin{array}{c}6\\ 0\end{array}\right].$$

由正规方程可得

$$\hat{x}=\left[\begin{array}{c}5\\ -3\end{array}\right],p=A\hat{x}=\left[\begin{array}{c}5\\ 2\\ -1\end{array}\right],e=b-p=\left[\begin{array}{c}1\\ -2\\ 1\end{array}\right].$$

也就是 $p=(5,2,-1{)}^T$，$e=(1,-2,1{)}^T$。 误差与 $A$ 的两列都正交：

$${\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]}^{T}e=0,{\left[\begin{array}{c}0\\ 1\\ 2\end{array}\right]}^{T}e=0.$$

故 $p$ 是 $C(A)$ 中离 $b$ 最近的点。对应的投影矩阵为

$$P=\frac{1}{6}\left[\begin{array}{ccc}5& 2& -1\\ 2& 2& 2\\ -1& 2& 5\end{array}\right],$$

并且 $Pb=p$、$(I-P)b=e$。

理论位置

投影定理把正交投影、正交误差、投影矩阵和最小二乘法连接在一起。几何上，它说最近点由垂直误差刻画；代数上，它给出正规方程；矩阵上，它给出 $P=A(A^{T}A{)}^{-1}{A}^T$；泛函分析中，它进一步推广为 Hilbert 空间闭凸集上的最佳逼近定理。

对闭凸集 $M$，最近点仍唯一，但正交性改写为变分不等式：

$$\mathrm{Re}⟨b-p,y-p⟩\le 0,y\in M.$$

当 $M$ 是线性子空间时，$y-p$ 可沿正负方向任意变化，这个不等式就退化为严格的正交条件。