条件随机场模型 (CRF) 简介——基于统计的词性标注三

/ NLP / 没有评论 / 291浏览

模型概述

英文名:Conditional Random Fields

条件随机场模型 2001 年由 Lafferty 提出,解决了标记偏执问题,目前广泛应用于自然语言处理中

如果想了解无向图模型,请查看图模型(Graphical Model)简介——描述随机变量的依赖关系

模型的分解式

$$p(S|O) = \frac{1}{Z(O)} \prod_{c \in C} \Psi_{c}(S_{c},O)$$

其中

$$Z(O) = \sum_{s} \prod_{c \in C} \Psi_{c}(S_{c},O)$$

图结构中的团

C = {{ $s_{t}$ } $| t= 1,2,...,n$} $\bigcup$ {{ $(s_{t-1},s_{t})$} $| t= 1,2,...n$ }

最大熵原则建模

如果想了解最大熵建模,请查看最大熵模型 Maximum Entropy——统计建模技术之一

基于最大熵原则进行建模,定义样本条件熵

$$H(S|O) = - \sum_{o} \tilde{p}(o) \sum_{s}p(s|o) \log p(s|o)$$

以团为单位定义特征

$$f_{k}(S_{c},O,C)$$

约束特征的样本期望与模型期望相同

$$\sum_{s,o} \tilde{p}(s,o)\sum_{c \in C} f(s_{c},o,c) = \sum_{o} \tilde{p}(o) \sum_{s}p(s|o)(\sum_{c \in C} f(s_{c}, o, c))$$

另有

$$\sum_{s}p(s|o) = 1$$

运用拉格朗日乘数法,求解出条件随机场的分布形式如下

$$p(S|O) = \frac{1}{Z(o)} \exp \left [ \sum_{c \in C} \sum_{k} \lambda_{k}f_{k}(s_{c},o,c) \right ]$$

$$Z(O) = \sum_{s}\exp \left [ \sum_{c \in C} \sum_{k} \lambda_{k}f_{k}(s_{c},o,c) \right ]$$

总结

训练条件随机场模型原理与其它前述模型类似,可以采用GIS、 IIS算法以及其他数值优化算法

如果想了解Viterbi算法,请查看韦特比(Viterbi)算法与解码问题——隐马尔可夫疑难问题二

  1. 兼具判别模型和无向图模型的优点
  2. 特征设计灵活、无需考虑特征独立性,没有标记偏执问题
  3. 条件随机场模型训练代价大、复杂度高
  4. 除链式图结构外,还可以设计其他图结构,如针对网页的链接结构

未完待续