线性代数

Linear Algebra

线性代数研究有限维向量空间之间的线性映射。选定基以后，线性映射

$$T:V\to W$$

由矩阵 $A\in {\mathbb{F}}^{m\times n}$ 表示，向量问题转化为矩阵方程。它的两条主线是

$$Ax=b,Ax=\lambda x.$$

前者研究可解性、唯一性、秩、零空间、投影和最小二乘；后者研究方阵在特殊方向上的伸缩、模态、稳定性和谱分解。若 $A:{\mathbb{F}}^n\to {\mathbb{F}}^m$，则四个基本子空间是

$$C(A^T),N(A)\subseteq {\mathbb{F}}^n,C(A),N(A^T)\subseteq {\mathbb{F}}^m,$$

复数域上把 $A^T$ 改为 $A^{\ast }$。它们满足

$${\mathbb{F}}^n=C(A^T){\oplus }_{\perp }N(A),{\mathbb{F}}^m=C(A){\oplus }_{\perp }N(A^T),$$

并由秩 $r$ 给出维数

$$\dim C(A^T)=\dim C(A)=r,\dim N(A)=n-r,\dim N(A^T)=m-r.$$

因此，本页把线性代数组织成三层：先用消元和秩理解 $Ax=b$，再用正交投影和 SVD 理解任意矩阵，最后用特征值、谱定理和矩阵分解理解方阵与结构化算子。

一、Part one

\large A \boldsymbol{x} &\; \large= \large\boldsymbol{b} \end{align}$$ 矩阵乘以向量的三个理解层次： - **First level**: Only numbers 只有数字的运算 - **Second level**: combination of column vectors 列向量的线性组合 - **Third level**: Subspace 子空间的运算 [[线性方程组\|线性方程组]] [[向量\|向量]] [[矩阵\|矩阵]] [[逆矩阵\|逆矩阵]] [[矩阵的初等变换\|矩阵的初等变换]] [[矩阵的秩\|矩阵的秩]] [[线性方程组的解\|线性方程组的解]] [[行列式\|行列式]] [[克拉默法则\|克拉默法则]] [[雅可比矩阵\|雅可比矩阵]] [[向量空间\|向量空间]] [[范数\|范数]] [[线性变换\|线性变换]] [[线性独立\|线性独立]] [[正交性\|正交性]] [[标准正交基\|标准正交基]] [[子空间的正交性\|子空间的正交性]] [[向量投影\|向量投影]] ### 二、Part Two $$\begin{align} \large A \boldsymbol{x}=\lambda\boldsymbol{x} \end{align}$$ [[特征值和特征向量\|特征值和特征向量]] [[对称矩阵\|对称矩阵]] [[矩阵对角化\|矩阵对角化]] [[二次型\|二次型]] [[微分方程组\|微分方程组]] [[凯莱-哈密顿定理\|凯莱-哈密顿定理]] [[矩阵求导\|矩阵求导]] [[奇异值分解\|奇异值分解]] ### 三、矩阵分解 **Matrix Factorizations** | 矩阵分解 | 所属知识点 | | | -------------------------- | -------------- | --------------------------- | | $\large A=LDU$ | [[线性方程组的解\|线性方程组的解]] | 用于求解线性方程组、求逆、行列式计算 | | $\large A=QR$ | [[标准正交基\|标准正交基]] | 最小二乘法、求正交基、特征值计算 | | $\large A=X\Lambda X^{-1}$ | [[矩阵对角化\|矩阵对角化]] | 解微分方程、稳定性分析、幂法计算特征值 | | $\large S=Q\Lambda Q^{T}$ | [[对称矩阵\|对称矩阵]] | 泛用于 PCA（主成分分析）、谱图理论、物理系统对角化 | | $\large A=BJB^{-1}$ | [[Jordan矩阵\|Jordan矩阵]] | 理论分析 | | $\large A=U \Sigma V^{T}$ | [[奇异值分解\|奇异值分解]] | 图像压缩、降维、主成分分析（PCA）等 | | $\large A=QS$ | [[极分解\|极分解]] | 量子力学、信号处理、图像分析 | | $\large A=U\Lambda U^{-1}$ | [[正规矩阵\|正规矩阵]] | 简化线性算子分析，常用于量子力学 | | $\large A=QTQ^{-1}$ | [[Schur分解\|Schur分解]] | 广泛用于特征值算法 | | $\large S=C^{T}C$ | [[Cholesky分解\|Cholesky分解]] | 快速求解正定线性系统 | - $L$ $C$ Lower triangular - $D$ Diagonal - $U$ $C^{T}$ Upper triangular - $X$ Eigenvectors - $\Lambda$ Eigenvalues - $B$ Generalized Eigenvectors - $J$ Jordan - $Q$ $V$ $U$ Orthogonal - $\varSigma$ Singular Value ### 三、章节学习索引 #### 1. Introduction to Vectors - **1.1 Vectors and Linear Combinations**：[[向量\|向量]]、[[列向量\|列向量]]、[[行向量\|行向量]]、[[零向量\|零向量]]、[[线性组合\|线性组合]]、[[张成\|张成]]、[[张成空间\|张成空间]]、[[向量空间\|向量空间]]。这一节把向量看成可加、可数乘的对象，并用“所有线性组合”建立直线、平面、空间和退化情形。 - **1.2 Lengths and Dot Products**：[[向量长度\|向量长度]]、[[单位向量\|单位向量]]、[[点积\|点积]]、[[内积\|内积]]、[[向量夹角\|向量夹角]]、[[正交性\|正交性]]、[[向量投影\|向量投影]]、[[三角不等式\|三角不等式]]、[[柯西-施瓦茨不等式\|柯西-施瓦茨不等式]]。这一节用点积定义长度、角度和正交，是后续投影、最小二乘和正交分解的度量基础。 - **1.3 Matrices**：[[矩阵\|矩阵]]、[[矩阵乘法\|矩阵乘法]]、[[矩阵形式\|矩阵形式]]、[[矩阵运算\|矩阵运算]]、[[线性方程组\|线性方程组]]、[[行图像\|行图像]]、[[列图像\|列图像]]、[[差分矩阵\|差分矩阵]]、[[可逆矩阵\|可逆矩阵]]、[[奇异矩阵\|奇异矩阵]]。这一节把矩阵看成把输入系数送到列组合输出的动作，并从 $Ax$ 推进到 $Ax=b$ 的逆问题。 #### 2. Solving Linear Equations - **2.1 Vectors and Linear Equations**：[[线性方程组\|线性方程组]]、[[线性方程组的解\|线性方程组的解]]、[[行图像\|行图像]]、[[列图像\|列图像]]、[[矩阵形式\|矩阵形式]]。这一节把 $Ax=b$ 同时解释为方程约束、列向量组合和矩阵输入输出问题。 - **2.2 The Idea of Elimination**：[[高斯消元\|高斯消元]]、[[主元\|主元]]、[[消元乘子\|消元乘子]]、[[上三角矩阵\|上三角矩阵]]、[[回代\|回代]]、[[行交换\|行交换]]。这一节把求解过程变成逐步消去未知量，并暴露主元失败、行交换和回代的必要性。 - **2.3 Elimination Using Matrices**：[[矩阵的初等变换\|矩阵的初等变换]]、[[消元矩阵\|消元矩阵]]、[[增广矩阵\|增广矩阵]]、[[置换矩阵\|置换矩阵]]。这一节用矩阵乘法表示行操作，使消元从手算步骤变成可组合的矩阵动作。 - **2.4 Rules for Matrix Operations**：[[矩阵乘法\|矩阵乘法]]、[[矩阵运算\|矩阵运算]]、[[分块矩阵\|分块矩阵]]、[[矩阵转置\|矩阵转置]]、[[逆矩阵\|逆矩阵]]。这一节统一矩阵乘法的行列点积、列组合、行组合、外积和分块视角。 - **2.5 Inverse Matrices**：[[逆矩阵\|逆矩阵]]、[[可逆矩阵\|可逆矩阵]]、[[奇异矩阵\|奇异矩阵]]、[[高斯-若尔当消元法\|高斯-若尔当消元法]]。这一节说明何时 $A^{-1}$ 存在，如何用 $[A\mid I]$ 求逆，以及为什么求解时常避免显式求逆。 - **2.6 Elimination = Factorization: $A=LU$**：[[LU分解\|LU分解]]、[[LDU分解\|LDU分解]]、[[下三角矩阵\|下三角矩阵]]、[[上三角矩阵\|上三角矩阵]]。这一节把消元乘子和主元组织成三角因子，是重复求解、求逆和行列式计算的结构基础。 - **2.7 Transposes and Permutations**：[[矩阵转置\|转置矩阵]]、[[对称矩阵\|对称矩阵]]、[[置换矩阵\|置换矩阵]]、[[行交换\|行交换]]。这一节把行列互换、内积迁移、对称结构和置换行交换放入同一套矩阵语言。 #### 3. Vector Spaces and Subspaces - **3.1 Spaces of Vectors**：[[向量空间\|向量空间]]、[[子空间\|子空间]]、[[列空间\|列空间]]、[[零空间\|零空间]]、[[线性组合\|线性组合]]、[[矩阵空间\|矩阵空间]]、[[函数空间\|函数空间]]。这一节从 $\mathbb{R}^n$ 推进到抽象向量空间，说明“封闭于加法和数乘”才是空间结构的关键，并把 $Ax=b$ 的可解性解释为 $b\in C(A)$。 - **3.2 The Nullspace of $A$**：[[零空间\|零空间]]、[[齐次线性方程组\|齐次线性方程组]]、[[自由变量\|自由变量]]、[[主变量\|主变量]]、[[特殊解\|特殊解]]、[[行最简阶梯形矩阵\|行最简阶梯形矩阵]]、[[秩\|秩]]。这一节把 $Ax=0$ 的全部解组织成零空间：消元保持 $N(A)$，每个自由变量产生一个特殊解，秩 $r$ 与自由变量数 $n-r$ 共同决定解空间维数。 - **3.3 The Complete Solution to $Ax=b$**：[[线性方程组的解\|线性方程组的解]]、[[特解\|特解]]、[[通解\|通解]]、[[一致性条件\|一致性条件]]、[[满列秩\|满列秩]]、[[满行秩\|满行秩]]。这一节给出 $x=x_p+x_n$ 的结构：一个满足非齐次方程的特解，加上齐次零空间中的全部自由方向，并按秩区分唯一解、无解和无穷多解。 - **3.4 Independence, Basis and Dimension**：[[线性独立\|线性独立]]、[[线性相关\|线性相关]]、[[张成空间\|张成空间]]、[[基\|基]]、[[标准基\|标准基]]、[[维数\|维数]]。这一节把“独立且张成”固定为基的定义，说明基给出唯一坐标表示，并证明维数是所有基的共同长度。 - **3.5 Dimensions of the Four Subspaces**：[[四个基本子空间\|四个基本子空间]]、[[行空间\|行空间]]、[[列空间\|列空间]]、[[零空间\|零空间]]、[[左零空间\|左零空间]]、[[行秩\|行秩]]、[[列秩\|列秩]]、[[秩-零度定理\|秩-零度定理]]、[[线性代数基本定理\|线性代数基本定理]]。这一节把矩阵的秩、零度和四个基本子空间统一起来：行空间与零空间位于 $\mathbb{R}^n$，列空间与左零空间位于 $\mathbb{R}^m$。 #### 4. Orthogonality - **4.1 Orthogonality of the Four Subspaces**：[[正交性\|正交性]]、[[正交补\|正交补]]、[[子空间的正交性\|子空间的正交性]]、[[四个基本子空间\|四个基本子空间]]、[[线性代数基本定理\|线性代数基本定理]]。这一节把行空间与零空间、列空间与左零空间升级为正交补关系，并说明 $x=x_r+x_n$ 与 $b=b_c+b_\ell$ 的分解。 - **4.2 Projections**：[[正交投影\|正交投影]]、[[向量投影\|向量投影]]、[[投影定理\|投影定理]]、[[投影矩阵\|投影矩阵]]、[[正交误差\|正交误差]]。这一节把无法精确命中的向量分解为子空间内最近点和正交误差，核心公式是 $P=A(A^TA)^{-1}A^T$。 - **4.3 Least Squares Approximations**：[[最小二乘问题\|最小二乘问题]]、[[最小二乘法\|最小二乘法]]、[[正规方程\|正规方程]]、[[残差\|残差]]、[[数据拟合\|数据拟合]]。这一节处理 $Ax=b$ 无解时的最佳近似，核心条件是 $A^T(b-A\hat{x})=0$，即残差垂直于列空间。 - **4.4 Orthonormal Bases and Gram-Schmidt**：[[标准正交基\|标准正交基]]、[[正交基\|正交基]]、[[正交矩阵\|正交矩阵]]、[[格拉姆-施密特正交化\|格拉姆-施密特正交化]]、[[修正Gram-Schmidt\|修正Gram-Schmidt]]、[[QR分解\|QR分解]]、[[Gram矩阵\|Gram矩阵]]。这一节用 $Q^TQ=I$ 消去耦合，把投影、最小二乘和 $A=QR$ 分解统一起来。 #### 5. Determinants - **5.1 The Properties of Determinants**：[[行列式\|行列式]]、[[行列式基本性质\|行列式基本性质]]、[[行列式与消元\|行列式与消元]]、[[三角矩阵行列式\|三角矩阵行列式]]、[[行列式乘法公式\|行列式乘法公式]]。这一节把行列式定义为判断可逆性、缩放体积和追踪行操作影响的标量。 - **5.2 Permutations and Cofactors**：[[排列\|排列]]、[[余子式\|余子式]]、[[代数余子式\|代数余子式]]、[[行列式展开\|行列式展开]]。这一节从排列公式和余子式展开解释行列式的完整代数结构。 - **5.3 Cramer's Rule, Inverses, and Volumes**：[[克拉默法则\|克拉默法则]]、[[伴随矩阵\|伴随矩阵]]、[[逆矩阵的余子式公式\|逆矩阵的余子式公式]]、[[行列式与体积\|行列式与体积]]、[[雅可比行列式\|雅可比行列式]]。这一节把行列式用于显式求解、求逆和几何体积计算。 #### 6. Eigenvalues and Eigenvectors - **6.1 Introduction to Eigenvalues**：[[特征值和特征向量\|特征值和特征向量]]、[[特征方程\|特征方程]]、[[特征多项式\|特征多项式]]、[[迹\|迹]]、[[复特征值\|复特征值]]。这一节研究满足 $Ax=\lambda x$ 的不变方向，是矩阵幂、稳定性和对角化的入口。 - **6.2 Diagonalizing a Matrix**：[[矩阵对角化\|矩阵对角化]]、[[特征向量矩阵\|特征向量矩阵]]、[[矩阵的幂\|矩阵的幂]]、[[相似矩阵\|相似矩阵]]、[[几何重数与代数重数\|几何重数与代数重数]]。这一节说明当特征向量足够多时，矩阵可以被化成对角形式，复杂动力学随之分解为独立标量模式。 - **6.3 Systems of Differential Equations**：[[微分方程组\|微分方程组]]、[[矩阵指数\|矩阵指数]]、[[稳定性\|稳定性]]、[[特征值和特征向量\|特征值和特征向量]]。这一节用特征值解释线性动力系统的增长、衰减、振荡与稳态。 - **6.4 Symmetric Matrices**：[[对称矩阵\|对称矩阵]]、[[谱定理\|谱定理]]、[[正交特征向量\|正交特征向量]]、[[正交对角化\|正交对角化]]、[[主轴定理\|主轴定理]]。这一节说明实对称矩阵具有正交特征向量和实特征值，是二次型与正定性的核心基础。 - **6.5 Positive Definite Matrices**：[[正定矩阵\|正定矩阵]]、[[正半定矩阵\|正半定矩阵]]、[[二次型\|二次型]]、[[主元判别法\|主元判别法]]、[[顺序主子式判别法\|顺序主子式判别法]]。这一节用能量、特征值、主元和子式刻画正定性。 #### 7. The Singular Value Decomposition - **7.1 Image Processing by Linear Algebra**：[[奇异值分解\|奇异值分解]]、[[图像压缩\|图像压缩]]、[[低秩近似\|低秩近似]]、[[矩阵的秩\|矩阵的秩]]。这一节用图像压缩展示 SVD 如何用少量主方向保留主要信息。 - **7.2 Bases and Matrices in the SVD**：[[奇异值分解\|奇异值分解]]、[[标准正交基\|标准正交基]]、[[正交矩阵\|正交矩阵]]、[[奇异值\|奇异值]]。这一节解释 $A=U\Sigma V^T$ 中输入基、输出基和伸缩系数的几何意义。 - **7.3 Principal Component Analysis**：[[主成分分析\|主成分分析]]、[[协方差矩阵\|协方差矩阵]]、[[数据降维\|数据降维]]、[[低秩近似\|低秩近似]]。这一节把 SVD 用于数据主方向提取，连接线性代数与统计学习。 - **7.4 The Geometry of the SVD**：[[奇异值分解\|奇异值分解]]、[[矩阵范数\|矩阵范数]]、[[低秩近似\|低秩近似]]、[[极分解\|极分解]]、[[伪逆\|伪逆]]。这一节用单位球到椭球的变形解释 SVD 的几何本质。 #### 8. Linear Transformations - **8.1 The Idea of a Linear Transformation**：[[线性变换\|线性变换]]、[[核空间\|核空间]]、[[像空间\|像空间]]、[[线性算子\|线性算子]]。这一节把矩阵提升为保持加法和数乘的映射。 - **8.2 The Matrix of a Linear Transformation**：[[线性变换矩阵\|线性变换矩阵]]、[[基\|基]]、[[坐标变换\|坐标变换]]、[[矩阵表示\|矩阵表示]]。这一节说明同一个线性变换在选定基后如何写成矩阵。 - **8.3 The Search for a Good Basis**：[[基变换\|基变换]]、[[矩阵对角化\|矩阵对角化]]、[[Jordan矩阵\|Jordan矩阵]]、[[傅里叶变换\|傅里叶变换]]、[[函数空间\|函数空间]]。这一节强调好基能让矩阵接近对角、分块或稀疏，从而揭示问题结构。 #### 9. Complex Vectors and Matrices - **9.1 Complex Numbers**：[[复数\|复数]]、[[复平面\|复平面]]、[[复共轭\|复共轭]]、[[欧拉公式\|欧拉公式]]、[[单位根\|单位根]]。这一节把实线性代数扩展到复数域，使旋转、振荡和复特征值可以统一表达。 - **9.2 Hermitian and Unitary Matrices**：[[厄米矩阵\|厄米矩阵]]、[[酉矩阵\|酉矩阵]]、[[复内积\|复内积]]、[[共轭转置\|共轭转置]]、[[谱定理\|谱定理]]。这一节给出复数域中的对称矩阵和正交矩阵对应物。 - **9.3 The Fast Fourier Transform**：[[单位根\|单位根]]、[[傅里叶矩阵\|傅里叶矩阵]]、[[离散傅里叶变换\|离散傅里叶变换]]、[[快速傅里叶变换\|快速傅里叶变换]]、[[范德蒙德矩阵\|范德蒙德矩阵]]。这一节展示傅里叶矩阵的单位根结构如何递归分解，使 DFT 从平方复杂度降到近似 $n\log n$。 #### 10. Applications - **10.1 Graphs and Networks**：[[图论\|图论]]、[[关联矩阵\|关联矩阵]]、[[图拉普拉斯算符\|图拉普拉斯算符]]、[[基尔霍夫电路定律\|基尔霍夫电路定律]]、[[网络流\|网络流]]。这一节用矩阵描述节点、边、流和守恒约束。 - **10.2 Matrices in Engineering**：[[刚度矩阵\|刚度矩阵]]、[[有限差分法\|有限差分法]]、[[有限元法\|有限元法]]、[[边界条件\|边界条件]]、[[正定矩阵\|正定矩阵]]。这一节展示工程系统如何自然形成稀疏线性方程组。 - **10.3 Markov Matrices, Population, and Economics**：[[马尔可夫链\|马尔可夫链]]、[[概率向量\|概率向量]]、[[稳态分布\|稳态分布]]、[[佩龙-弗罗贝尼乌斯定理\|佩龙-弗罗贝尼乌斯定理]]、[[主特征向量\|主特征向量]]。这一节用矩阵迭代描述概率、人口和经济状态的长期行为。 - **10.4 Linear Programming**：[[线性规划\|线性规划]]、[[可行域\|可行域]]、[[单纯形法\|单纯形法]]、[[对偶问题\|对偶问题]]、[[互补松弛\|互补松弛]]。这一节把线性方程、不等式和最优化联系起来。 - **10.5 Fourier Series: Linear Algebra for Functions**：[[傅里叶级数\|傅里叶级数]]、[[Hilbert空间\|Hilbert空间]]、[[内积\|内积]]、[[正交基\|正交基]]、[[傅里叶系数\|傅里叶系数]]。这一节把向量空间思想推广到函数。 - **10.6 Computer Graphics**：[[计算机图形学\|计算机图形学]]、[[齐次坐标\|齐次坐标]]、[[仿射变换\|仿射变换]]、[[旋转矩阵与叉乘 1\|旋转矩阵与叉乘 1]]、[[透视投影\|透视投影]]。这一节用矩阵表达平移、旋转、缩放和投影。 - **10.7 Linear Algebra for Cryptography**：[[密码学\|密码学]]、[[模运算\|模运算]]、[[有限域\|有限域]]、[[有限向量空间\|有限向量空间]]、[[希尔密码\|希尔密码]]。这一节展示有限域和模算术中的线性代数应用。 #### 11. Numerical Linear Algebra - **11.1 Gaussian Elimination in Practice**：[[高斯消元\|高斯消元]]、[[部分主元法\|部分主元法]]、[[舍入误差\|舍入误差]]、[[稀疏矩阵\|稀疏矩阵]]、[[QR分解\|QR分解]]。这一节关注消元在计算机中的稳定性、复杂度和实现问题。 - **11.2 Norms and Condition Numbers**：[[范数\|范数]]、[[条件数\|条件数]]、[[矩阵范数\|矩阵范数]]、[[病态问题\|病态问题]]。这一节衡量输入误差如何被矩阵放大，是数值稳定性的核心语言。 - **11.3 Iterative Methods and Preconditioners**：[[固定点迭代法\|固定点迭代法]]、[[雅可比迭代法\|雅可比迭代法]]、[[高斯-赛德尔迭代法\|高斯-赛德尔迭代法]]、[[共轭梯度法\|共轭梯度法]]、[[谱半径\|谱半径]]。这一节处理大规模线性系统，强调近似迭代和预条件结构。 #### 12. Linear Algebra in Probability and Statistics - **12.1 Mean, Variance, and Probability**：[[概率\|概率]]、[[随机变量\|随机变量]]、[[期望\|期望]]、[[方差\|方差]]、[[正态分布\|正态分布]]。这一节把平均、波动和概率分布写成向量语言。 - **12.2 Covariance Matrices and Joint Probabilities**：[[协方差\|协方差]]、[[协方差矩阵\|协方差矩阵]]、[[联合概率\|联合概率]]、[[随机变量的独立性\|随机变量的独立性]]、[[正半定矩阵\|半正定矩阵]]。这一节用矩阵记录多变量之间的共同变化。 - **12.3 Multivariate Gaussian and Weighted Least Squares**：[[多维正态分布\|多维正态分布]]、[[加权最小二乘法\|加权最小二乘法]]、[[协方差矩阵\|协方差矩阵]]、[[递归最小二乘法\|递归最小二乘法]]、[[卡尔曼滤波\|卡尔曼滤波]]。这一节把统计估计、误差权重和线性代数中的正定矩阵连接起来。 ### 索引 **定位** 面向复习和查找的符号/命令概念地图：从公式、空间符号、运算法则、概率统计记号和计算工具名直接进入已有概念页。重复出现的公式按主要用途归类；同一入口在不同上下文中保留到更具体概念的别名链接。 使用时可以先按问题类型定位：要求解方程先看分解与正规方程；要判断空间关系先看四个基本子空间；要写代码先看计算包、命令名和稀疏入口。这里的公式不只是记号表，而是到概念页的导航句柄。 **矩阵分解公式** - [[LDU分解\|LDU分解]] | $A=LDU$：把消元中的下三角因子、主元对角因子和上三角因子分开，适合连接到[[下三角矩阵\|下三角矩阵]]、[[上三角矩阵\|上三角矩阵]] 和主元结构。 - [[LU分解\|LU分解]] | $A=LU$：把高斯消元写成三角求解流程，是求解[[线性方程组\|线性方程组]] 和理解[[高斯消元\|高斯消元]] 的核心分解。 - [[部分主元法\|部分主元法]] | $PA=LU$：把行交换写入置换矩阵 $P$，用于稳定消元和处理主元顺序。 - [[QR分解\|QR分解]] | $A=QR$：把列空间基正交化，连接[[标准正交基\|标准正交基]]、[[格拉姆-施密特正交化\|格拉姆-施密特正交化]] 和最小二乘计算。 - [[极分解\|极分解]] | $A=QS$ / $KQ$：把矩阵分成正交变换与对称正定伸缩，适合从几何变形理解一般矩阵。 - [[奇异值分解\|奇异值分解]] | $A=U\Sigma V^T$：用输入正交基、奇异值和输出正交基描述任意矩阵的伸缩结构，连接[[低秩近似\|低秩近似]]、[[主成分分析\|主成分分析]] 和[[图像压缩\|图像压缩]]。 - [[伪逆\|伪逆]] | $A^+=V\Sigma^+U^T$：把 SVD 中非零奇异值倒置，给出最小二乘和欠定系统中的广义逆。 - [[秩一矩阵\|秩一矩阵]] | $A=uv^T$：外积形式的基本低秩块，是 SVD 展开和低秩近似的原子。 - [[相似矩阵\|相似矩阵]] | $A=BCB^{-1}$：表示同一线性变换在不同基下的矩阵形式。 - [[Jordan矩阵\|Jordan矩阵]] | $A=BJB^{-1}$：当特征向量不足时，用 Jordan 结构描述相似标准形。 - [[矩阵对角化\|矩阵对角化]] | $A=X\Lambda X^{-1}$：特征向量足够多时，把矩阵作用拆成独立标量模式。 - [[矩阵的幂\|矩阵的幂]] | $A^k=X\Lambda^kX^{-1}$：对角化后计算矩阵幂，把长期迭代行为归约到特征值幂。 - [[相似矩阵\|相似矩阵]] | $A=QTQ^{-1}$：用正交基把矩阵化成上三角相似形式，可作为 Schur 分解入口。 - [[谱定理\|谱定理]] | $S=Q\Lambda Q^T$：对称矩阵的正交对角化，连接[[对称矩阵\|对称矩阵]]、[[正交对角化\|正交对角化]] 和[[正定矩阵\|正定矩阵]]。 - [[Cholesky分解\|Cholesky分解]] | $S=LDL^T$：对称矩阵的三角分解形式，常用于正定系统、二次型和数值求解。 - [[Gram矩阵\|Gram矩阵]] | $S=A^TA$：列向量内积组成的对称半正定矩阵，是正规方程、SVD 和协方差结构的交汇点。 **正交、投影与最小二乘核心符号** - [[标准正交基\|标准正交基]] | $q_i^Tq_j=\delta_{ij}$：用 Kronecker delta 表示单位长度和两两正交，是 $Q^TQ=I$ 的逐项版本。 - [[正交矩阵\|正交矩阵]] | $Q^TQ=I$：$Q$ 的列向量标准正交；若 $Q$ 是方阵，还等价于 $Q^{-1}=Q^T$ 和 $QQ^T=I$。 - [[投影矩阵\|投影矩阵]] | $QQ^T$：当 $Q$ 是长矩阵且 $Q^TQ=I$ 时，$QQ^T$ 是到 $C(Q)$ 的正交投影，而不是整个空间上的恒等矩阵。 - [[QR分解\|QR分解]] | $R=Q^TA$：在 $A=QR$ 且 $Q^TQ=I$ 时，左乘 $Q^T$ 直接读出上三角因子。 - [[Gram矩阵\|Gram矩阵]] | $A^TA=R^TR$：QR 分解把 Gram 矩阵化为三角因子的乘积，解释最小二乘中为什么可以避免直接形成正规方程。 - [[正交投影\|正交投影]] | $A^T(b-A\hat{x})=0$：最小二乘残差与列空间正交，是正规方程的几何版本。 - [[投影矩阵\|投影矩阵]] | $P^2=P,\ P^T=P$：正交投影矩阵同时满足幂等和对称；只满足 $P^2=P$ 时未必是正交投影。 **四个基本子空间符号** - [[列空间\|列空间]] | $C(A)\subseteq \mathbf{R}^m$：矩阵列向量张成的输出空间，决定 $Ax=b$ 是否一致。 - [[行空间\|行空间]] | $C(A^T)\subseteq \mathbf{R}^n$：矩阵行向量张成的输入方向空间，维数等于秩。 - [[零空间\|零空间]] | $N(A)\subseteq \mathbf{R}^n$：齐次方程 $Ax=0$ 的全部解，给出自由变量方向。 - [[左零空间\|左零空间]] | $N(A^T)\subseteq \mathbf{R}^m$：列空间的正交补，刻画 $A^Ty=0$ 的约束方向。 - [[正交补\|正交补]] | $V^\perp$：与子空间 $V$ 中所有向量正交的方向集合。 - [[线性代数基本定理\|线性代数基本定理]] | $C(A^T)\perp N(A)$，$C(A)\perp N(A^T)$：四个基本子空间的正交补关系。 - [[线性代数基本定理\|线性代数基本定理]] | $\mathbf{R}^n=C(A^T)\oplus N(A)$：输入空间被行空间和零空间正交分解。 - [[线性代数基本定理\|线性代数基本定理]] | $\mathbf{R}^m=C(A)\oplus N(A^T)$：输出空间被列空间和左零空间正交分解。 - [[矩阵的秩\|矩阵的秩]] | $r=\operatorname{rank}(A)$：四个子空间共享的核心维数，等于主元数、列空间维数和行空间维数。 - [[秩-零度定理\|秩-零度定理]] | $\dim C(A)+\dim N(A)=n$：把列空间维数和零空间维数合并为未知量个数。 - [[欧几里得空间\|欧几里得空间]] | $\mathbf{R}^n$：实向量空间的标准模型。 - [[复数\|复数]] | $\mathbf{C}^n$：复向量空间入口，后续连接[[复内积\|复内积]]、[[厄米矩阵\|厄米矩阵]] 和[[酉矩阵\|酉矩阵]]。 - [[集合\|集合]] | $\mathbf{S}\cup\mathbf{T}$：集合并，用于描述两个集合或子空间元素的合并。 - [[子空间\|子空间]] | $\mathbf{S}+\mathbf{T}$：子空间和，表示来自两个子空间向量的所有加法组合。 - [[子空间\|子空间]] | $\mathbf{S}\cap\mathbf{T}$：子空间交，表示同时属于两个子空间的向量集合。 - [[集合\|集合]] | $\mathbb{Z}$：整数集合，在模运算和有限域线性代数中常作为离散结构入口。 **投影、正规方程与矩阵运算法则** - [[投影矩阵\|投影矩阵]] | $P=A(A^TA)^{-1}A^T$：把向量投到 $A$ 的列空间，连接[[正交投影\|正交投影]] 和[[最小二乘法\|最小二乘法]]。 - [[正规方程\|正规方程]] | $A^TA\hat{x}=A^Tb$：最小二乘解的核心方程，等价于残差与列空间正交。 - [[伪逆\|伪逆]] | $x^+=A^+b$：用广义逆给出最小范数解或最小二乘解。 - [[Gram矩阵\|Gram矩阵]] | $A^TA$：把最小二乘、列相关性和半正定结构联系起来。 - [[二次型\|二次型]] | $A^TCA$：把矩阵变换嵌入加权内积或能量表达式。 - [[矩阵转置\|矩阵转置]] | $(Ax)^Ty=x^T(A^Ty)$：转置把矩阵从一个内积槽移动到另一个内积槽。 - [[矩阵转置\|矩阵转置]] | $(AB)^T=B^TA^T$：乘积转置反转矩阵顺序。 - [[逆矩阵\|逆矩阵]] | $(AB)^{-1}=B^{-1}A^{-1}$：乘积求逆同样反转顺序。 - [[矩阵乘法\|矩阵乘法]] | $(AB)C=A(BC)$：矩阵乘法满足结合律，使分块计算和复合线性变换一致。 - [[增广矩阵\|$[A\ b]$]]：把系数矩阵和右端向量合并，追踪线性方程组的可解性。 - [[高斯-若尔当消元法\|$[A\ I]$]]：把矩阵与单位矩阵合并，用行变换求逆或化简。 - [[行最简阶梯形矩阵\|行最简阶梯形矩阵]] | $R=\operatorname{rref}(A)$：消元后的规范形，用来读取主元、自由变量和零空间。 - [[Lp范数\|Lp范数]] | $\ell^1,\ell^\infty$：向量大小的不同度量，分别强调绝对和与最大分量。 - [[模运算\|模运算]] | mod $p$：把线性代数放入模 $p$ 算术，连接[[有限域\|有限域]] 和密码学应用。 - [[浮点数\|NaN]]：数值计算中的非数值结果，常提示除零、无效运算或未定义表达式。 **特征值与矩阵指数** - [[特征值和特征向量\|特征值和特征向量]] | $(A-\lambda I)x=0$：特征向量满足的齐次方程，表示 $A$ 在该方向上只做标量伸缩。 - [[特征方程\|特征方程]] | $\det(A-\lambda I)=0$：特征值必须满足的行列式方程。 - [[特征多项式\|特征多项式]] | $\det(A-\lambda I)$：特征方程背后的多项式对象，编码特征值的代数重数。 - [[矩阵对角化\|矩阵对角化]] | $A=X\Lambda X^{-1}$：把矩阵作用换到特征向量坐标中。 - [[矩阵的幂\|矩阵的幂]] | $A^k=X\Lambda^kX^{-1}$：把离散时间迭代拆成各特征方向的增长、衰减或振荡。 - [[矩阵指数\|矩阵指数]] | $e^{At}$：连续时间线性系统的状态转移算子。 - [[矩阵指数函数\|矩阵指数函数]] | $e^{At}=Xe^{\Lambda t}X^{-1}$：对角化后逐个特征值指数化，用于求解线性微分方程组。 - [[谱定理\|谱定理]] | $S=Q\Lambda Q^T$：对称矩阵的特征分解保证实特征值和正交特征向量。 **概率统计符号** - [[正态分布\|正态分布]] | $\mathbf{N}(0,1)$：标准正态分布，是线性代数进入概率统计时最常见的标量分布入口。 - [[期望\|期望]] | $\mu$：随机变量或数据向量的中心位置。 - [[方差\|方差]] | $\sigma^2$：随机变量围绕均值的离散程度。 - [[协方差矩阵\|协方差矩阵]] | $\Sigma$：多变量随机向量的二阶相关结构，通常是对称半正定矩阵。 - [[联合概率\|联合概率]] | $P(A\cap B)$：多个事件同时发生的概率入口。 - [[概率向量\|概率向量]]：非负且和为一的向量，常用于[[马尔可夫链\|马尔可夫链]] 和稳态分布。 - [[多维正态分布\|多维正态分布]]：用均值向量与协方差矩阵组织多变量高斯模型。 - [[加权最小二乘法\|加权最小二乘]]：把误差权重或协方差结构并入正规方程。 **向量、有限域与特殊矩阵** - [[标准基\|标准基]] | $\mathbf{i},\mathbf{j},\mathbf{k}$：三维空间中的标准基向量。 - [[叉积\|叉积]] | $u\times v$：三维向量产生垂直方向和有向面积的运算。 - [[行列式\|3 by 3 determinant]]：三阶行列式入口，连接体积、可逆性和叉积。 - [[差分矩阵\|-1,2,-1 矩阵]]：二阶差分或离散拉普拉斯的典型三对角结构。 - [[范德蒙德矩阵\|Vandermonde 结构]]：多项式插值和傅里叶矩阵的结构入口。 - [[傅里叶矩阵\|傅里叶矩阵]]：由单位根组织的复矩阵，连接[[快速傅里叶变换\|快速傅里叶变换]]。 - [[有限向量空间\|有限向量空间]]：模 $p$ 或有限域上的向量空间，用于编码和密码学。 **计算包和代码名** **基础库与计算后端** - [[数值线性代数\|BLAS]]：基础线性代数子程序，面向向量、矩阵-向量和矩阵-矩阵内核。 - [[数值线性代数\|LAPACK]]：建立在 BLAS 上的线性方程组、矩阵分解、特征值和 SVD 例程集合。 - [[数值线性代数\|ARPACK]]：大规模稀疏矩阵的少数特征值计算入口，核心思想是 Arnoldi/Lanczos 型 Krylov 子空间。 - [[迭代法\|CG]]：对称正定线性系统的 Krylov 迭代入口，常与[[预条件\|预条件]]、[[共轭梯度法\|共轭梯度法]] 和[[稀疏矩阵\|稀疏矩阵]] 连接。 - [[迭代法\|GMRES]]：一般非对称线性系统的最小残差 Krylov 入口，适合只提供矩阵-向量乘法的大问题。 - [[迭代法\|MINRES]]：对称但不一定正定线性系统的最小残差入口，要求保持对称结构。 **语言与交互环境** - [[编程语言\|Fortran]]：传统高性能数值库的重要实现语言。 - [[编程语言\|Julia]]：面向科学计算的动态语言入口。 - [[Python\|Python]]：通用编程入口，实际数值线性代数常连接 [[numpy\|Numpy]] 和 [[scipy\|scipy]]。 - [[Matlab\|MATLAB]]：矩阵计算环境入口，许多线性代数命令以矩阵对象为中心。 - [[编程语言\|R]]：统计计算语言入口，适合连接概率统计和数据分析。 - [[计算\|Maple]]：符号计算系统入口。 - [[Mathematica\|Mathematica]]：符号计算与数值计算系统入口。 - [[函数空间\|chebfun]]：把函数当作连续对象进行数值计算的工具入口。 **分解与线性方程命令** - [[LU分解\|lu]]：LU 分解命令名，通常和主元置换一起出现。 - [[QR分解\|qr]]：QR 分解命令名，连接正交化、最小二乘和稳定基变换。 - [[Cholesky分解\|chol]]：Cholesky 分解命令名，适用于对称正定矩阵。 - [[行最简阶梯形矩阵\|rref]]：行最简阶梯形矩阵命令名，用于读取主元、自由变量和零空间。 - [[线性方程组\|solve / backslash]]：直接求解线性系统的命令入口，优先理解为“选择合适分解”，不是显式求逆。 **谱、范数与稀疏命令** - [[奇异值分解\|svd]]：SVD 命令名，用于秩、低秩近似、伪逆和条件数。 - [[特征值和特征向量\|eig]]：稠密特征值和特征向量命令名。 - [[数值线性代数\|eigs]]：少数特征值命令入口，通常连接 ARPACK 或同类 Krylov 稀疏特征值算法。 - [[矩阵对角化\|eigshow]]：特征向量几何效果的可视化命令名。 - [[范数\|norm]]：向量或矩阵范数命令名。 - [[条件数\|cond]]：条件数命令入口，用于判断线性系统或最小二乘问题的敏感性。 - [[稀疏矩阵\|sparse]]：稀疏矩阵构造入口，决定后续存储、乘法、分解和迭代路线。 - [[稀疏矩阵\|amd]]：近似最小度排序命令名，用于稀疏矩阵重排序和减少填充。 **构造、随机与绘图命令** - [[矩阵\|pascal]]：Pascal 矩阵生成命令名。 - [[矩阵\|toeplitz]]：Toeplitz 矩阵生成命令名。 - [[随机变量\|rand]]：随机数或随机矩阵生成命令名。 - [[Matlab图像绘制\|plot2d]]：二维绘图命令名。 **六个总入口** - [[维数\|Dimension Theorem]]：所有基的向量个数相同，维数是向量空间的内在量。 - [[秩-零度定理\|Counting Theorem]]：列空间维数加零空间维数等于列数。 - [[矩阵的秩\|Rank Theorem]]：列空间维数等于行空间维数，公共值称为秩。 - [[线性代数基本定理\|Fundamental Theorem]]：行空间与零空间、列空间与左零空间互为正交补。 - [[奇异值分解\|SVD]]：用行空间和列空间的标准正交基把任意矩阵分解为奇异值伸缩。 - [[谱定理\|Spectral Theorem]]：实对称矩阵可由正交特征向量对角化。 ### 五、相关概念 [[图论\|图论]] [[坐标变换\|坐标变换]] ### 参考资料 《Introduction to Linear Algebra》第五版，清华大学出版社。