Orthonormal Basis
标准正交的向量 $q_{1}, \dots, q_{n}$ 满足：相互垂直并且模都为 1

q_i^Tq_j=\delta_{ij}

\begin{cases} 1,&i=j,\ 0,&i\ne j. \end{cases}

这里的 $\delta_{ij}$ 是 Kronecker delta。等式同时表达两个条件：$q_i^Tq_i=\|q_i\|^2=1$ 表示单位长度，$q_i^Tq_j=0\ (i\ne j)$ 表示正交。 把这些向量放成矩阵列

Q=[q_1\ q_2\ \cdots\ q_n],

则所有点积一次写成

Q^TQ= \begin{bmatrix} q_1^T\ q_2^T\ \vdots\ q_n^T \end{bmatrix} \begin{bmatrix} q_1&q_2&\cdots&q_n \end{bmatrix} =I_n.

这条式子不要求 $Q$ 是方阵；当 $Q\in\mathbb R^{m\times n}$ 且 $m>n$ 时，$Q^T$ 只是左逆，不能写成普通[[逆矩阵\|逆矩阵]]。 ### 与正交矩阵的边界 若 $Q$ 同时是方阵，则 $Q^TQ=I$ 推出

QQ^T=I,\qquad Q^T=Q

这时 $Q$ 是[[正交矩阵\|正交矩阵]]，它的行向量和列向量都构成全空间的标准正交基。正交矩阵保持长度与角度：

|Qx|^2=(Qx)^T(Qx)=x^TQ^TQx=|x|

并且

(Qx)^T(Qy)=x^TQ^TQy=x

若 $Q$ 不是方阵，上述保持长度的结论对输入坐标 $x\in\mathbb R^n$ 仍成立，即 $\|Qx\|=\|x\|$；但 $QQ^T$ 不再是恒等矩阵，而是投影到 $Q$ 的列空间。 ### 投影和坐标 设 $Q$ 的列张成子空间 $C(Q)$。把向量 $b$ 投影到 $C(Q)$ 时，标准正交性使正规方程直接退化为

\hat{x}=Q^Tb,\qquad p=Q\hat{x}=QQ

其中 $\hat{x}$ 的第 $i$ 个分量就是 $q_i^Tb$，也就是 $b$ 沿 $q_i$ 的一维投影系数。投影矩阵为

P=QQ^T,\qquad P^2=P,\qquad P

只有当 $Q$ 是覆盖全空间的方阵标准正交基时，才有 $QQ^T=I$，于是 $p=b$，并且

b=q_1(q_1^Tb)+q_2(q_2^Tb)+\cdots+q_n(q_n

若 $Q$ 只给出真子空间的标准正交基，$QQ^Tb$ 只是 $b$ 在该子空间中的最佳近似。 例如

Q=\frac13 \begin{bmatrix} -1&2&2\ 2&-1&2\ 2&2&-1 \end{bmatrix}

的三列是 $\mathbb R^3$ 的标准正交基。对 $b=(0,0,1)^T$，

q_1^Tb=\frac23,\qquad q_2^Tb=\frac23,\qquad q_3

前两个一维分量之和

\frac23q_1+\frac23q_2

是 $b$ 到 $\operatorname{span}\{q_1,q_2\}$ 的投影；三个分量全部相加时，因为 $Q$ 是方阵标准正交矩阵，

\frac23q_1+\frac23q_2-\frac13q_3=b.

这说明标准正交基把一个向量拆成互相垂直的一维投影，再由这些分量相加重构。 ### 构造方式 [[格拉姆-施密特正交化\|格拉姆-施密特正交化]]从线性无关向量 $a,b,c$ 出发，先构造正交向量 $A,B,C$，再单位化：

A=a,

B=b-\frac{A^Tb}{A

C=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B

最后令

q_1=\frac{A}{|A|},\qquad q_2=\frac{B}{|B|},\qquad q_3=\frac{C}{|C|}.

每一步都把新向量中沿已有方向的投影减掉，所以保留原来的张成空间，同时把列之间的耦合消去。实际数值计算中， [[修正 G r am - S c hmi d t ∥ 修正 G r am - S c hmi d t]] 会一次减去一个投影，通常比一次性减去全部投影更稳定。一个具体三向量过程是

a=\begin{bmatrix}1\-1\0\end{bmatrix},\qquad b=\begin{bmatrix}2\0\-2\end{bmatrix},\qquad c=\begin{bmatrix}3\-3\3\end{bmatrix}.

先得

A=a,\qquad B=b-\frac{A^Tb}{A

再得

C=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B

a_j=r_{1j}q_1+\cdots+r_{jj}q_j.

因此

A=QR,\qquad R=Q

其中

R= \begin{bmatrix} q_1^Ta_1&q_1^Ta_2&\cdots&q_1^Ta_n\ 0&q_2^Ta_2&\cdots&q_2^Ta_n\ \vdots&\vdots&\ddots&\vdots\ 0&0&\cdots&q_n^Ta_n \end{bmatrix}

是上三角矩阵。最小二乘问题 $\min_x\|Ax-b\|$ 因 $A=QR$ 化为

A^TA=R^TQ^TQR=R

从而

R\hat{x}=Q

这比直接处理 $A^TA\hat{x}=A^Tb$ 更适合计算，因为核心只剩下标准正交投影和上三角回代。

标准正交基