顿搜
飞过闲红千叶，夕岸在哪
类目归类
图模型(Graphical Model)简介——描述随机变量的依赖关系
10/05
什么是图模型
图模型用图结构描述随机变量之间的依赖关系
- 结点 —— 随机变量
- 边 —— 随机变量之间的依赖关系
图模型常用来为若干随机变量的联合分布进行统计建模，用以将联合分布进行适当的分解
如果对统计建模不了解，请查看统计建模(Statistical Modeling)——统计机器学习建模介绍条件马尔可夫模型、条件随机场模型就是图模型
图结构可以是有向图和无向图，分别针对
- 有向图模型
- 无向图模型
有向图模型
模型描述
有向图模型可以用一个无环有向图 $G= (X, E)$ 来表示, 其中
- X = {$x_{1}, x_{2},...,x_{N}$} 是结点集，代表随机变量
- E= { $(x_{i}, x_{j})$ }代表有向边的集合， $x_{i}$是父节点， $x_{j}$是子节点，代表 $x_{j}$ 依赖于 $x_{i}$
模型形式
依据链式规则， N 个随机变量的联合分布可做如下形式的分解
$$p(x_{1}, x_{2},..., x_{N}) = \prod_{i=1}^{N} p(x_{i}|x_{i-1}x_{i-2}...x_{1})$$
若已知随机变量之间的依赖关系，上述分解式中条件分布可略去和变量 $x_{i}$ 独立的变量
有向图模型对应下面的分解形式
$$p(x_{1},x_{2},...,x_{N}) = \prod_{i=1}^{N}p(x_{i}|x_{n})$$
无向图模型
无向图模型对应着另外一种将联合分布进行分解的方式。
模型描述
无向图模型可表示为一个无向图 $G = (X, E)$
- X = {$x_{1}, x_{2},...,x_{N}$} 是结点集，代表随机变量
- E= {$(x_{i}, x_{j}) | i \neq j$} 代表无向边的集合，对应随机变量间的依赖关系。
团和最大团
在无向图中，任何一个全连通的子图称作一个团 (clique)。
不能被其它团所包含的团称为最大团 (maximal clique)。
团上的势函数
英文名：potential function
$$\Psi: X_{c} \rightarrow R^+$$
无向图模型以团为单位将联合概率分布分解为势函数的乘积
模型形式
无向图模型描述了如下形式的概率分布
$$p(x_{1}, x_{2}, ..., x_{N}) = \frac{1}{Z} \prod_{c \in C} \Psi_{c}(x_{c})$$
C 代表图中所有的团组成的集合
$\Psi_{c}()$代表团c上势函数
Z 是归一化因子
归一化因子
无向图模型之所以需要归一化，是因为势函数并非是概率分布，它们的乘积不是合法的概率分布
归一化因子计算方式
$$Z = \sum_{x_{1}}\sum_{x_{2}}...\sum_{x_{n}} \prod_{c \in C} \Psi_{c}(x_{c})$$
通常采用指数势函数
$$\Psi_{c}(x_{c}) = exp(\phi_{c}(x_{c}))$$
无向图模型可表示为
$$p(x_{1}, x_{2},...x_{N}) = \frac{1}{Z} \prod_{c \in C} \exp(\phi_{c}(x_{c})) = \frac{1}{Z} \exp \sum_{c \in C} \phi_{c}(x_{c})$$
图模型对比
共同之处
将复杂的联合分布分解为多个因子的乘积
不同之处
- 有向图模型因子是概率分布、无需全局归一
- 无向图模型因子是势函数，需要全局归一
优缺点
- 无向图模型中势函数设计不受概率分布约束，设计灵活，但全局归一代价高
- 有向图模型无需全局归一、训练相对高效
