概率图模型

Probabilistic Graphical Model PGM

利用图结构表达随机变量之间的概率依赖关系的模型。

简单来说，PGM 是用 节点表示随机变量，边表示变量之间的依赖关系 ，通过图的结构将复杂的联合概率分布进行可视化和高效建模。

$$p(x_1,x_2,x_3,...,x_n)$$

如果变量之间的关系很复杂，直接建模这个分布非常困难。 概率图模型的核心思想是：

• 通过图的结构描述哪些变量之间是直接相关的，哪些是条件独立的。
• 利用条件独立性，简化联合概率分布的建模和推断。

基本分类

类型	图结构	分解形式	应用场景
贝叶斯网络	有向图	因果关系，条件概率表	时间序列、诊断系统
马尔可夫随机场	无向图	势函数、局部团	图像处理、空间建模

有向图模型（贝叶斯网络）

• 节点： 随机变量
• 边： 有向边，表示因果关系或条件依赖关系

$$p(x_1,x_2,...,x_n)=\prod _{i=1}^{n}p(x_i\mid \text{Pa}(x_i))$$

其中 $\text{Pa}(x_i)$ 表示节点 $x_i$ 的父节点。

• 适合描述因果关系
• 推断速度快
• 易于表示时间序列（如 HMM）

无向图模型（马尔可夫随机场）

• 节点： 随机变量
• 边： 无向边，表示相互依赖关系（但不强调因果顺序）

$$p(x_1,x_2,...,x_n)=\frac{1}{Z}\prod _{C\in \mathcal{C}}{\psi }_C(x_C)$$

• ${\psi }_C(x_C)$ ：势函数，定义 clique（团）内变量的关系

• $Z$ ：归一化因子（配分函数）

• 强调局部依赖

• 适合表达对称关系（如图像、空间数据）

• 推断相对复杂

实际应用

应用	使用的图模型
SLAM	无向图（图优化），贝叶斯网络（滤波）
语音识别	隐马尔可夫模型（HMM）
自然语言处理	条件随机场（CRF）
计算机视觉	图像分割（马尔可夫随机场）
基因网络	贝叶斯网络