函数空间

Function Space 函数空间

函数空间是数学中线性代数和泛函分析领域的一个基本概念，它是一个由具有某些共同性质的函数组成的集合，并且这个集合满足向量空间的公理。这意味着函数空间中的元素（函数）可以进行加法和标量乘法运算，并且这些运算满足向量空间的相应性质。

一、特殊的函数空间

函数空间可以根据其附加的结构（如范数、内积）进一步分类：

1. 赋范线性空间 (Normed Vector Space)

Normed Vector Space 赋范线性空间是一个向量空间，其中的每个向量（函数）都配备了一个范数（norm），这个范数定义了向量的“长度”或“大小”。范数通常表示为 $||f||$，满足非负性、齐次性和三角不等式。

2. 巴拿赫空间 (Banach Space)

Banach Space 巴拿赫空间是完备的赋范线性空间。完备性意味着空间中所有柯西序列都收敛于该空间内的某个点。许多重要的函数空间（如连续函数空间 $C[a,b]$、平方可积函数空间 $L^p$）都是巴拿赫空间。

3. 希尔伯特空间 (Hilbert Space)

Hilbert Space 希尔伯特空间是一类特殊的巴拿赫空间，其中定义了内积（inner product）。内积允许我们定义函数之间的“角度”和“正交性”，使得它同时也是一个欧几里得空间的推广。希尔伯特空间中的元素通常是平方可积的函数。

二、函数空间的基

在函数空间中，如果一组函数是正交的，并且可以用来表示空间中的任何其他函数，那么这组函数就构成了该空间的一个基。函数的正交性是指在一个区间内，两个或多个函数的乘积的积分为零。

$${\int }_a^{b}f(x)g(x)dx=0$$

那么 $f(x)$、$g(x)$ 在区间 $[a,b]$ 上正交。

1. 傅里叶基 (Fourier Basis)

傅里叶基是傅里叶级数的基础，它由一组正交的三角函数组成。对于周期函数，可以在一定条件下将其分解为这些基函数的线性组合。

三角函数系：

$1,\cos (x),\sin (x),\cos (2x),\sin (2x),\dots ,\cos (nx),\sin (nx),\dots$

这些函数在 $[-\pi ,\pi ]$ 区间上满足正交性：

$${\int }_{-\pi }^{\pi }\sin (nx)\cos (mx)dx=0$$ $${\int }_{-\pi }^{\pi }\sin (nx)\sin (mx)dx=\{\begin{array}{llc}\pi & n=m0& n\ne m\end{array}$$ $${\int }_{-\pi }^{\pi }\cos (nx)\cos (mx)dx=\{\begin{array}{llc}\pi & n=m0& n\ne m\end{array}$$

2. 勒让德基 (Legendre Basis)

勒让德多项式 $P_n(x)$ 构成了一个在 $[-1,1]$ 区间上带权函数 $w(x)=1$ 的正交基：

$1,x,x^2-\frac{1}{3},x^3-\frac{3}{5}x,\dots$

3. 切比雪夫基 (Chebyshev Basis)

切比雪夫多项式 $T_n(x)$ 构成了一个在 $[-1,1]$ 区间上带权函数 $w(x)=\frac{1}{\sqrt{1-x^2}}$ 的正交基：

$1,x,2x^2-1,4x^3-3x,\dots$

三、函数空间在计算机科学中的应用

函数空间的概念在计算机科学中，尤其是在机器学习、信号处理、图像处理和数值分析等领域有广泛应用：

• 机器学习：核方法（Kernel Methods）通过将数据映射到高维希尔伯特空间来解决非线性问题。
• 信号处理：信号可以被视为函数空间中的元素，傅里叶变换等工具将信号分解到不同的基上。
• 图像处理：图像可以被视为二维函数，图像压缩和处理算法常常利用函数空间的正交基。
• 数值分析：函数逼近、插值和数值积分等问题都涉及到函数空间。

数学 线性代数 泛函分析 向量空间 函数 内积 欧几里得空间 正交性 傅里叶级数 机器学习 信号处理 图像处理 数值分析

---

AI 结构化补充（2026-05-02）

定义

Function Space 函数空间是把同一类函数当作“向量”来处理的向量空间。若所有函数都有共同定义域 $D$，并取实数值，则全体实值函数构成空间

$$F=\{f:D\to \mathbb{R}\}.$$

函数空间中的加法和数乘按点定义：

$$(f+g)(x)=f(x)+g(x),(cf)(x)=cf(x).$$

因此任意线性组合也是函数：

$$(cf+dg)(x)=cf(x)+dg(x).$$

零向量是零函数 $0(x)=0$。

F 的封闭性

若 $f,g\in F$，则 $cf+dg$ 对每个 $x\in D$ 都给出一个实数，所以仍在 $F$ 中。全体函数空间通常是无限维的，因为它包含远多于有限个基函数能描述的函数。

例如

$$f(x)=x^2,g(x)=5x$$

是函数空间中的两个向量。它们的线性组合

$$3f(x)-4g(x)=3x^2-20x$$

仍是同一函数空间中的向量。

要注意，函数空间里的标量数乘是 $cf(x)$，不是把输入改成 $f(cx)$。若把“数乘”错误定义为 $f(cx)$，会破坏标量加法的分配律：一般没有

$$(c+d)f=cf+df,$$

因为左边是 $f((c+d)x)$，右边是 $f(cx)+f(dx)$。

多项式空间

多项式空间是函数空间中最重要的有限维例子之一。所有次数不超过 $n$ 的实系数多项式构成

$$P_n=\{a_0+a_{1}x+\cdots +a_n{x}^n:a_i\in \mathbb{R}\}.$$

它是 $F$ 的子空间，因为两个次数不超过 $n$ 的多项式相加、数乘后，次数仍不超过 $n$。

$P_n$ 的一组自然基是

$$1,x,x^2,\dots ,x^n,$$

所以

$$\dim P_n=n+1.$$

所有多项式构成的空间 $P$ 则是无限维函数空间。

边界条件要写准确：次数不超过 $n$ 的多项式构成子空间；次数恰好等于 $n$ 的多项式不构成子空间。原因是零多项式不在其中，而且两个最高次项可能相消。

函数内积与幂基的病态性

在有限维向量空间里，一组基的几何质量可以由 Gram 矩阵 $B^{\mathsf{T}}B$ 衡量：若列向量两两正交并归一化，则 $B^{\mathsf{T}}B=I$，计算最稳定。函数空间中也沿用同一思想，只是把有限求和换成积分。

实值函数在区间 $[a,b]$ 上的常用内积是

$$⟨f,g⟩={\int }_a^{b}f(x)g(x)dx.$$

复值函数在本文采用的第一变元线性约定下，需要在第二个因子上取共轭：

$$⟨f,g⟩={\int }_a^{b}f(x)\overline{g(x)}dx.$$

带权内积把区间中不同位置的重要性写进权函数：

$$⟨f,g{⟩}_w={\int }_a^{b}w(x)f(x)\overline{g(x)}dx,w(x)>0.$$

${\ell }^2$ 与 $L^2$ 的类比

无限长列向量

$$v=(v_1,v_2,v_3,\dots )$$

只有在

$$\Vert v{\Vert }_{{\ell }^2}^2=\sum _{j=1}^{\infty }|v_j{|}^2<\infty$$

时才属于 ${\ell }^2$。函数向量的对应空间是 $L^2(I)$：若 $I=[0,2\pi ]$，则

$$L^2(I)=\left\{f:{\int }_0^{2\pi }|f(x){|}^{2}dx<\infty \right\}.$$

有限维点积

$$v\cdot w=\sum _j{v}_j\overline{w_j}$$

在函数空间中变成积分内积

$$⟨f,g⟩={\int }_{I}f(x)\overline{g(x)}dx.$$

因此，${\ell }^2$ 控制的是系数列的平方和，$L^2$ 控制的是函数在区间上的能量积分；二者都排除“长度无限”的对象。例如 $(1,1,1,\dots )$ 不在 ${\ell }^2$，而无限尖峰式的极限对象通常不在 $L^2$，因为平方积分会发散。

Fourier 展开把这两个空间连接起来。以 $[0,2\pi ]$ 上的三角展开

$$f(x)=a_0+\sum _{k=1}^{\infty }(a_k\cos kx+b_k\sin kx)$$

为例，若基函数正交且 $f\in L^2[0,2\pi ]$，则系数满足平方可和，并有

$$\Vert f{\Vert }_{L^2}^2=2\pi a_0^2+\pi \sum _{k=1}^{\infty }(a_k^2+b_k^2).$$

把 $1,\cos kx,\sin kx$ 分别除以 $\sqrt{2\pi },\sqrt{\pi },\sqrt{\pi }$ 后，Parseval 等式就成为“函数长度等于正交坐标长度”的无穷维版本。

多项式空间的自然幂基

$$1,x,x^2,\dots$$

虽然直观，却不是数值计算中的好基。以 $[0,1]$ 上的普通内积为例，幂基的 Gram 矩阵满足

$$G_{ij}=⟨x^i,x^j⟩={\int }_0^1{x}^{i+j}dx=\frac{1}{i+j+1},i,j\ge 0.$$

这正是 Hilbert 矩阵。它的特征值尺度相差极大，条件数迅速变坏，所以高次幂 $x^n$ 在数值上很容易接近低次幂的线性组合；用它做基时，投影、拟合和求解线性方程都会放大舍入误差。

把区间改成对称区间 $[-1,1]$ 后，奇偶性立刻给出一半正交性。若 $e(x)$ 是偶函数、$o(x)$ 是奇函数，则 $e(x)o(x)$ 是奇函数，因此

$${\int }_{-1}^{1}e(x)o(x)dx=0.$$

例如 $x^2$ 与 $x^5$ 正交，因为

$${\int }_{-1}^1{x}^2{x}^{5}dx={\int }_{-1}^1{x}^{7}dx=0.$$

这说明“选基”不是只找线性无关函数，还要让内积结构尽量接近正交。

函数空间中的正交好基

函数空间常用的三类好基是 Fourier 基、Legendre 多项式基和 Chebyshev 多项式基。它们的共同点是：相对于合适内积具有正交性，并且能把函数的主要信息压缩到少量系数中。

Fourier 基适合周期函数，典型形式为

$$1,\sin x,\cos x,\sin 2x,\cos 2x,\dots$$

或复指数形式 $e^{ikx}$。在 $[-\pi ,\pi ]$ 上，不同频率的正弦和余弦彼此正交，因此一个周期函数可以按这组正交方向展开为

$$f(x)=a_0+b_1\sin x+a_1\cos x+b_2\sin 2x+a_2\cos 2x+\cdots .$$

这是函数空间中的正交展开：每个系数都是 $f$ 投影到对应基函数方向得到的坐标，类似有限维向量在正交基下的坐标。特定地，第三个余弦频率的系数是

$$a_3=\frac{⟨f,\cos 3x⟩}{⟨\cos 3x,\cos 3x⟩}=\frac{{\int }_{-\pi }^{\pi }f(x)\cos 3xdx}{{\int }_{-\pi }^{\pi }{\cos }^{2}3xdx}.$$

有些函数的 Fourier series 很短，例如

$${\cos }^{2}x=\frac{1}{2}+\frac{1}{2}\cos 2x,{\sin }^{2}x=\frac{1}{2}-\frac{1}{2}\cos 2x.$$

若 $f$ 是周期且光滑的函数，低频系数通常已经捕捉主要形状；跳变、尖角和观测噪声会把能量推入较高频率，所以高频部分常对应不连续性、快速振荡或噪声。

Legendre 多项式来自对幂基 $1,x,x^2,\dots$ 在 $[-1,1]$ 的普通内积下做 Gram-Schmidt 正交化。由于 $1$ 是偶函数、$x$ 是奇函数，前两项已经正交。继续处理偶次项时，

$$x^2-\frac{⟨x^2,1⟩}{⟨1,1⟩}1=x^2-\frac{1}{3}.$$

继续处理奇次项时，

$$x^3-\frac{⟨x^3,x⟩}{⟨x,x⟩}x=x^3-\frac{3}{5}x.$$

按这个过程继续下去，就得到一组逐次升高次数、彼此正交的多项式基；整体乘上非零常数不改变它们作为基的作用。

Chebyshev 多项式基的前几项为

$$1,x,2x^2-1,4x^3-3x,\dots$$

它与 Fourier 的余弦基直接相连。令 $x=\cos \theta$，第 $n$ 个 Chebyshev 多项式满足

$$T_n(\cos \theta )=\cos n\theta .$$

因此

$$T_2(x)=2x^2-1,T_3(x)=4x^3-3x.$$

Chebyshev 基在 $[-1,1]$ 上对应带权内积，权函数为

$$w(x)=\frac{1}{\sqrt{1-x^2}}.$$

它把多项式近似和余弦展开联系起来，常用于高精度插值、逼近和数值微分方程。函数计算中的 chebfun 思路可以看成“好基”思想的数值化：把函数近似为多项式或 Chebyshev 级数，再在稳定基的系数上做积分、求根或微分方程计算。

齐次方程给出的函数子空间

很多函数子空间可以由齐次线性条件定义。例如满足

$$\frac{d^{4}y}{d{x}^4}=0$$

的所有函数正是三次及以下多项式：

$$y=a+bx+c{x}^2+d{x}^3.$$

因此这个解集就是 $P_3$，是函数空间的子空间。

若条件改成非齐次方程，例如 $y^{(4)}=1$，解集通常不再是子空间，因为它不包含零函数，两个解相加也不会继续满足同一个非齐次右端。

线性算子与矩阵表示

函数空间中的线性变换常被称为线性算子。导数算子就是典型例子：

$$D(f)=f^{\prime }.$$

在多项式基 $1,x,x^2,x^3$ 下，

$$D(1)=0,D(x)=1,D(x^2)=2x,D(x^3)=3x^2.$$

一旦选定基，导数这样的函数算子也可以用矩阵表示。这说明矩阵空间、函数空间和多项式空间并不是分离主题，而是同一个向量空间语言的不同实例。

常见边界

函数空间必须先固定共同定义域和标量域。定义在不同区间上的函数不能直接相加；实函数空间和复函数空间也对应不同标量。

由齐次线性条件定义的函数集合通常是子空间，例如 $f(0)=0$、$f^{\prime }(0)=0$ 或 $f^{\prime \prime }+f=0$。由非齐次条件或不等式定义的集合通常不是子空间，例如 $f(0)=1$、$f(x)\ge 0$、概率密度函数集合都不对任意线性组合封闭。

相邻概念关系

函数空间把向量空间的定义从有限维列向量推广到函数对象。多项式空间提供可计算的有限维模型，矩阵空间提供同型矩阵的有限维模型；它们的共同核心都是线性组合封闭性。函数空间中的齐次解空间对应零空间思想，非齐次解集则更接近平移后的仿射空间。