顿搜
飞过闲红千叶，夕岸在哪
类目归类
条件随机场模型 (CRF) 简介——基于统计的词性标注三
10/05
模型概述
英文名：Conditional Random Fields
条件随机场模型 2001 年由 Lafferty 提出，解决了标记偏执问题，目前广泛应用于自然语言处理中
- 条件随机场模型是判别模型(特征设计灵活)
- 无向图模型(无需局部归一，代之全局归一)
如果想了解无向图模型，请查看图模型(Graphical Model)简介——描述随机变量的依赖关系模型的分解式
$$p(S|O) = \frac{1}{Z(O)} \prod_{c \in C} \Psi_{c}(S_{c},O)$$
其中
$$Z(O) = \sum_{s} \prod_{c \in C} \Psi_{c}(S_{c},O)$$
图结构中的团
C = {{ $s_{t}$ } $| t= 1,2,...,n$} $\bigcup$ {{ $(s_{t-1},s_{t})$} $| t= 1,2,...n$ }
最大熵原则建模
如果想了解最大熵建模，请查看最大熵模型 Maximum Entropy——统计建模技术之一基于最大熵原则进行建模，定义样本条件熵
$$H(S|O) = - \sum_{o} \tilde{p}(o) \sum_{s}p(s|o) \log p(s|o)$$
以团为单位定义特征
$$f_{k}(S_{c},O,C)$$
约束特征的样本期望与模型期望相同
$$\sum_{s,o} \tilde{p}(s,o)\sum_{c \in C} f(s_{c},o,c) = \sum_{o} \tilde{p}(o) \sum_{s}p(s|o)(\sum_{c \in C} f(s_{c}, o, c))$$
另有
$$\sum_{s}p(s|o) = 1$$
运用拉格朗日乘数法，求解出条件随机场的分布形式如下
$$p(S|O) = \frac{1}{Z(o)} \exp \left [ \sum_{c \in C} \sum_{k} \lambda_{k}f_{k}(s_{c},o,c) \right ]$$
$$Z(O) = \sum_{s}\exp \left [ \sum_{c \in C} \sum_{k} \lambda_{k}f_{k}(s_{c},o,c) \right ]$$
总结
训练条件随机场模型原理与其它前述模型类似，可以采用GIS、 IIS算法以及其他数值优化算法
- 基于条件随机场模型进行标注采用 Viterbi算法
如果想了解Viterbi算法，请查看韦特比(Viterbi)算法与解码问题——隐马尔可夫疑难问题二- 条件随机场模型是理论上较为完善的序列标记模型
- 兼具判别模型和无向图模型的优点
- 特征设计灵活、无需考虑特征独立性，没有标记偏执问题
- 条件随机场模型训练代价大、复杂度高
- 除链式图结构外，还可以设计其他图结构，如针对网页的链接结构
