基于上下文无关文法的句法分析简介

/ NLP / 没有评论 / 589浏览

以“词”为单位的分析技术

以“句”为单位的分析技术

以“篇”为单位的分析技术

句法分析关心句子的组成规律(词如何组成句子? )

句法学(syntax)

语言学中研究句子组成规则的学科是句法学

句子成分分析

短语

英语中的短语

汉语中的短语

句法知识的形式化

上下文无关文法 (CFG) 是最常用的句法知识形式化工具

形式语法系统

英文名:grammar formalism

上下文无关文法是一个核心组成部分

转换生成语法

短语结构文法

乔姆斯基的短语结构文法分为

上下文无关文法

CFG 的形式定义

一个上下文无关文法 G 由四个部分组成,可记作 G = { $V_{N} , V_{T} , S , P$ }

$V_{N}$ 是非终结符号组成的有限集合
$V_{T}$ 是终结符号组成的有限集合
$V_{N}V_{T} = \emptyset$
S 是开始符号, $S \in V_{N}$
P 是一组重写规则组成的集合,每个重写规则具有下面的形式
$A \rightarrow \alpha$,其中 $A \in V_{N}$ , $a \in (V_{N} \cup V_{T})^{*}$

NLTK句法树工具

句法分析

句法分析的任务

歧义

对于句法分析而言,所谓歧义指的是对于同一个句子,按照指定的文法,会产生多种分析结果。

句法分析过程