自然语言处理——3.1 形式语言

形式语言

1. 关于语言的定义

人类所特有的用来表达意思、交流思想的工具,是一种特殊的社会现象,由语音、词汇和语法构成一定的系统。

2. 语言描述的三种途径

􀂙 穷举法— 只适合句子数目有限的语言。
􀂙 语法描述— 生成语言中合格的句子。
􀂙 自动机— 对输入的句子进行检验,区别哪些是语言中的句子,哪些不是语言中的句子。

3. 推导的定义

G = (N,\Sigma ,P,S) 是一个文法, 在{(N \cup \Sigma )^*}上定义关系\mathop \Rightarrow \limits_G(直接派生或推导)如下:
如果 \alpha \beta \gamma{(N \cup \Sigma )^*} 中的符号串,且 \beta \to \deltaP的产生式,
那么 \alpha \beta \gamma \mathop \Rightarrow \limits_G \alpha \delta \gamma
如下所示:

4. 最左推导、最右推导和规范推导

约定每步推导中只改写最左边的那个非终结符,这种推导称为“最左推导”
约定每步推导中只改写最右边的那个非终结符,这种推导称为“最右推导”
最右推导也称规范推导

5. 句型与句子

一些特殊类型的符号串为文法 G = (N,\Sigma ,P,S) 的句子形式(句型):
(1) S 是一个句子形式;
(2) 如果 \alpha \beta \gamma 是一个句子形式,且 \beta \to \deltaP 的产生式,则\alpha \delta \gamma 也是一个句子形式;
文法G不含非终结符的句子形式称为G 生成的句子。由文法G 生成的语言,记作L(G),指G生成的所有句子的集合。即:L(G) = \{ x|x \in \Sigma ,S\mathop \Rightarrow \limits_G^ + x\}

6. 正则文法(3型文法)

如果文法 G = (N,\Sigma ,P,S)P 中的规则满足如下形式:A \to Bx,或A \to x,其中A, B \in N, x \in \Sigma
则称该文法为正则文法或称3型文法(左线性正则文法)

如果A \to x B,则该文法称为右线性正则文法

7. 上下文无关文法(context-free grammar, CFG)(2型文法)

如果P 中的规则满足如下形式:A \to \alpha,其中A\in N\alpha \in {(N \cup \Sigma )^*},则称该文法为上下文无关文法(CFG) 或称2 型文法

8. 上下文有关文法(context-sensitive grammar, CSG)(1 型文法)

如果P 中的规则满足如下形式: \alpha A\beta \to \alpha \gamma \beta, 其中A \in N,\alpha, \beta, \gamma \in {(N \cup \Sigma )^*},且\gamma 至少包含一个字符,
则称该文法为上下文有关文法(CSG) 或称1 型文法

另一种定义:if x \to y, x \in {(N \cup \Sigma )^+}, y \in {(N \cup \Sigma )^*},并且 |y| \ge |x|

9. 0型文法

只要你能描述出来,都属于这个类型,即0型。

10. 4种文法的区别


4种文法的联系
4种文法.png

4种文法判别

1.先来看看3型文法的判断规则

①:左边必须只有一个字符,且必须是非终结符;
②:其右边最多只能有两个字符,要么是一个非终结符+终结符(终结符+非终结符),要么是一个终结符。
③:对于3型文法中的所有产生式,若其右边有两个字符的产生式,这些产生式右边两个字符中终结符和非终结符的相对位置一定要固定,也就是说如果一个产生式右边的两个字符的排列是:终结符+非终结符,那么所有产生式右边只要有两个字符的,都必须满足终结符+非终结符。反之亦然。

2.再看看2型文法判断规则

①:与3型文法的第一点相同,即:左边必须有且仅有一个非终结符。
②:2型文法所有产生式的右边可以含有若干个终结符和非终结符(只要是有限的就行,没有个数限制)。

3.最后再看看1型文法判断规则

①:1型文法所有产生式左边可以含有一个、两个或两个以上的字符,但其中必须至少有一个非终结符。
②:与2型文法第二点相同,但需要满足|α|≤|β|.

  1. 0型文法不需要判断了,一般的文法都是0型文法。 O(∩_∩)O

11. 上下文无关文法的二义性

一个文法G,如果存在某个句子有不只一棵分析树与之对应,那么称这个文法是二义的。


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,294评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,493评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,790评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,595评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,718评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,906评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,053评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,797评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,250评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,388评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,018评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2 350

推荐阅读更多精彩内容