图模型(Graphical Model)简介——描述随机变量的依赖关系

/ Machine Learning / 没有评论 / 343浏览

什么是图模型

图模型用图结构描述随机变量之间的依赖关系

图模型常用来为若干随机变量的联合分布进行统计建模,用以将联合分布进行适当的分解

如果对统计建模不了解,请查看统计建模(Statistical Modeling)——统计机器学习建模介绍

条件马尔可夫模型条件随机场模型就是图模型

图结构可以是有向图和无向图,分别针对

有向图模型

模型描述

有向图模型可以用一个无环有向图 $G= (X, E)$ 来表示, 其中

模型形式

依据链式规则, N 个随机变量的联合分布可做如下形式的分解

$$p(x_{1}, x_{2},..., x_{N}) = \prod_{i=1}^{N} p(x_{i}|x_{i-1}x_{i-2}...x_{1})$$

若已知随机变量之间的依赖关系,上述分解式中条件分布可略去和变量 $x_{i}$ 独立的变量

有向图模型对应下面的分解形式

$$p(x_{1},x_{2},...,x_{N}) = \prod_{i=1}^{N}p(x_{i}|x_{n})$$

无向图模型

无向图模型对应着另外一种将联合分布进行分解的方式。

模型描述

无向图模型可表示为一个无向图 $G = (X, E)$

团和最大团

在无向图中,任何一个全连通的子图称作一个团 (clique)。

不能被其它团所包含的团称为最大团 (maximal clique)。

团上的势函数

英文名:potential function

$$\Psi: X_{c} \rightarrow R^+$$

无向图模型以团为单位将联合概率分布分解为势函数的乘积

模型形式

无向图模型描述了如下形式的概率分布

$$p(x_{1}, x_{2}, ..., x_{N}) = \frac{1}{Z} \prod_{c \in C} \Psi_{c}(x_{c})$$

C 代表图中所有的团组成的集合
$\Psi_{c}()$代表团c上势函数
Z 是归一化因子

归一化因子

无向图模型之所以需要归一化,是因为势函数并非是概率分布,它们的乘积不是合法的概率分布

归一化因子计算方式

$$Z = \sum_{x_{1}}\sum_{x_{2}}...\sum_{x_{n}} \prod_{c \in C} \Psi_{c}(x_{c})$$

通常采用指数势函数

$$\Psi_{c}(x_{c}) = exp(\phi_{c}(x_{c}))$$

无向图模型可表示为

$$p(x_{1}, x_{2},...x_{N}) = \frac{1}{Z} \prod_{c \in C} \exp(\phi_{c}(x_{c})) = \frac{1}{Z} \exp \sum_{c \in C} \phi_{c}(x_{c})$$

图模型对比

共同之处

将复杂的联合分布分解为多个因子的乘积

不同之处

优缺点