数据结构篇七:Suffix Array, Longest Common Prefix (LCP) array

这是一位 google 工程师分享的8小时的数据结构的视频,我的笔记


Suffix Array

  • 字符串的所有子字符串后缀组成数组
  • 对子串根据首字母进行排序
  • 排序后原有的index就被打乱了
  • 这个乱序的indices就是Suffix Array

做尾缀子串的时候通常是从单个字母开始越找越多,这就有了一个原生顺序,然后用首字母排序后,这个顺序就被打乱了

提供了一种compressd representation of sorted suffixes而无需真的把这些子串存起来。

  • A space efficient alternative to a suffix tree
    • a compressd version of a trie?

能做所有suffix tree能做的事,并加添加了Longest Common Prefix(LCP) array

Longest Common Prefix (LCP) array

继续上面的Suffix Array,字母排序后,我们一个个地用每一个元素同上一个元素比,标记相同前缀的字母个数,这个数字序列就是LCP

比如adc, adfgadc, 前缀ab是相同的,那就是2。

第一个元素没有“上一个”去比,所以LCP数组第1位永远是0?(是的,其实是undefined,但一般设0)

衡量的是相邻的suffix array元素的前缀间有多少个字母相同。

当前也可以和下一个元素比(这样最后一个元素的LCP肯定是0了,原理同上)

Find unique substrings

找到(或计数)一个数组的所有(不重复的)子元素。可以逐个substring遍历,O(n^2),下面看看更快也更省空间的LCP方案。

找“AZAZA”的不重复子串:
A,AZ,AZA,AZAZ,AZAZA,Z,ZA,ZAZ,ZAZA,A,AZ,AZA,Z,AZ,A,把重复的标注了出来。
LCP是这样的:

LCP Sorted Suffixes
0 A
1 AZA
3 AZAZA
0 ZA
2 ZAZA

我们知道第一列指的是“重复个数”,也就是说,如果按我们手写的那样去遍历,至少有这么多重复的子串,重复的既是“个数”,也是“组合方式”。

所以如果我们只需要计数的话,把右边的数出来就知道有会有多少个重复的了,此例为6.

\tt unique\ count = \underbrace{\frac{n(n+1)}{2}}_{substr\ count} - \underbrace{\sum_{i=1}^n LCP[i]}_{duplicates}

这是LCP的应用之一,利用了LCP本身就是在数重复次数的特征。

K common substring problem

n个字符串,找出一个子串,它至少是k个字符串的子串,求最大子串。2\leq k \leq n

即如果有k=2,那么这个子串只需要是其中两个的子串就行了,如果k=n,那么就需要是每一个字符串的子串。

直接上图


2021-12-01-13-37-00.png
  • 图1演示k=3时,找到了ca,即3个串里都有的是ca
  • 图2演示k=2时,找到了bca,即bca存在2个串里
  • 图3演示的是用了size=4的滑窗才包含了3个字符串,以及最大匹配是AG

步骤:

  1. 首先,用几个分隔符把字符串拼接起来
    • 分隔符字符串里不会出现
    • 分隔符的排序要小于所有字符
  2. 图中染色的依据是prefix是哪个串里的就染成什么颜色
  3. 开始滑窗比较
    • 滑窗必须要能包含k种颜色
    • 所以滑窗大小不是固定的,有时候相邻几个都是来自同一个字符串
    • 滑窗里除0外的最小值,就是符合条件的最大共同长度,如图3,最大匹配长度是2
    • 课程里动画演示滑窗其实不是用滑的,而是用的爬行
      • 即下界往下,包含了所有颜色之后,上界也往下,这样蠕行前进,每一步判断滑窗里的内容
  4. 额外需要一个hash table来保存切片与颜色的映射关系。
    • 如果是例子这么简单,我可以直接检查第一个出现的分隔符,是#就是绿色,出现$就是蓝色,%就是红色

核心就是:

  • 取子串是从后向前取的
  • 但比较是从前向后比的
  • 前面的元素可能来自任何一个子串(只要足够长)
  • 从前面排序,客观上就把来自不同字符串的相同字母打头的子串给排到一起了

这就是为什么在Suffix Array的内容里面出现Longest Common Prefix的内容的原因了.

聪明。

Longest Repeated Substring (LRS)

2021-12-01-14-22-29.png

这个比暴力遍历要简单太多,直接找LCP最大值即可

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,794评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,050评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,587评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,861评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,901评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,898评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,832评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,617评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,077评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,349评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,483评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,199评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,824评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,442评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,632评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,474评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,393评论 2 352

推荐阅读更多精彩内容