内存索引结构整理1--skiplist原理及实现

最近在研究常用的索引结构,包括基于内存的和基于硬盘的结构。本文介绍skiplist的基本实现原理,从gfsfg8545的csdn博客中转来,仅做学习之用。如有侵权,还请见谅,可留言我删除。

跳表(skip List)是一种随机化的数据结构,基于并联的链表,实现简单,插入、删除、查找的复杂度均为O(logN)。跳表的具体定义,

跳表是由William Pugh发明的,这位确实是个大牛,搞出一些很不错的东西。简单说来跳表也是

链表的一种,只不过它在链表的基础上增加了跳跃功能,正是这个跳跃的功能,使得在查找元素时,跳表能够提供O(log n)的时间复杂

度。红黑树等这样的平衡数据结构查找的时间复杂度也是O(log n),并且相对于红黑树这样的平衡二叉树skiplist的优点是更好的支持并

发操作,但是要实现像红黑树这样的数据结构并非易事,但是只要你熟悉链表的基本操作,再加之对跳表原理的理解,实现一个跳表数据

结构就是一个很自然的事情了。

此外,跳表在当前热门的开源项目中也有很多应用,比如LevelDB的核心数据结构memtable是用跳表实现的,redis的sorted set数据

结构也是有跳表实现的。

skiplist主要思想

先从链表开始,如果是一个简单的链表(不一定有序),那么我们在链表中查找一个元素X的话,需要将遍历整个链表直到找到元素X为止。

现在我们考虑一个有序的链表:

从该有序表中搜索元素 {13, 39} ,需要比较的次数分别为 {3, 5},总共比较的次数为 3 + 5 = 8 次。我们想下有没有更优的算法?  我们想到了对于

有序数组查找问题我们可以使用二分查找算法,但对于有序链表却不能使用二分查找。这个时候我们在想下平衡树,比如BST,他们都是通过把一些

节点取出来作为其节点下某种意义的索引,比如父节点一般大于左子节点而小于右子节点。因此这个时候我们想到类似二叉搜索树的做法把一些

节点提取出来,作为索引。得到如下结构:

在这个结构里我们把{3, 18, 77}提取出来作为一级索引,这样搜索的时候就可以减少比较次数了,比如在搜索39时仅比较了3次(通过比较3,18,39)。

当然我们还可以再从一级索引提取一些元素出来,作为二级索引,这样更能加快元素搜索。

这基本上就是跳表的核心思想,其实是一种通过“空间来换取时间”的一个算法,通过在每个节点中增加了向前的指针(即层),从而提升查找的效率。

跳跃列表是按层建造的。底层是一个普通的有序链表。每个更高层都充当下面列表的「快速跑道」,这里在层 i 中的元素按某个固定的概率 p (通常

为0.5或0.25)出现在层 i+1 中。平均起来,每个元素都在 1/(1-p) 个列表中出现, 而最高层的元素(通常是在跳跃列表前端的一个特殊的头元素)

在 O(log1/p n) 个列表中出现。

SkipList基本数据结构及其实现

一个跳表,应该具有以下特征:

1,一个跳表应该有几个层(level)组成;

2,跳表的第一层包含所有的元素;

3,每一层都是一个有序的链表;

4,如果元素x出现在第i层,则所有比i小的层都包含x;

5,每个节点包含key及其对应的value和一个指向同一层链表的下个节点的指针数组

如图所示。

跳表基本数据结构

定义跳表数据类型:

//跳表结构

typedef struct skip_list

{

   int level;// 层数

   Node *head;//指向头结点

} skip_list;

其中level是当前跳表最大层数,head是指向跳表的头节点如上图。

跳表的每个节点的数据结构:

typedef struct node

{

   keyType key;// key值

   valueType value;// value值

   struct node *next[1];// 后继指针数组,柔性数组 可实现结构体的变长

} Node;

对于这个结构体重点说说,struct node *next[1] 其实它是个柔性数组,主要用于使结构体包含可变长字段。我们可以通过如下方法得到包含可变

层数(n)的Node *类型的内存空间:

#define new_node(n)((Node*)malloc(sizeof(Node)+n*sizeof(Node*)))

通过上面我们可以根据层数n来申请指定大小的内存,从而节省了不必要的内存空间(比如固定大小的next数组就会浪费大量的内存空间)。

跳表节点的创建

// 创建节点

Node *create_node(int level, keyType key, valueType val)

{

   Node *p=new_node(level);

   if(!p)

       return NULL;

   p->key=key;

   p->value=val;

   return p;

}

跳表的创建

列表的初始化需要初始化头部,并使头部每层(根据事先定义的MAX_LEVEL)指向末尾(NULL)

//创建跳跃表

skip_list *create_sl()

{

   skip_list *sl=(skip_list*)malloc(sizeof(skip_list));//申请跳表结构内存

   if(NULL==sl)

       return NULL;

   sl->level=0;// 设置跳表的层level,初始的层为0层(数组从0开始)

   Node *h=create_node(MAX_L-1, 0, 0);//创建头结点

   if(h==NULL)

   {

       free(sl);

       return NULL;

   }

   sl->head = h;

   int i;

// 将header的next数组清空

   for(i=0; i

   {

       h->next[i] = NULL;

   }

srand(time(0));

   return sl;

}

跳表插入操作

我们知道跳表是一种随机化数据结构,其随机化体现在插入元素的时候元素所占有的层数完全是随机的,层数是通过随机算法产生的:

//插入元素的时候元素所占有的层数完全是随机算法

int randomLevel()

{

int level=1;

   while (rand()%2)

       level++;

   level=(MAX_L>level)? level:MAX_L;

   return level;

}

相当与做一次丢硬币的实验,如果遇到正面(rand产生奇数),继续丢,遇到反面,则停止,用实验中丢硬币的次数level作为元素占有的层数。

显然随机变量 level 满足参数为 p = 1/2 的几何分布,level 的期望值 E[level] = 1/p = 2. 就是说,各个元素的层数,期望值是 2 层。

由于跳表数据结构整体上是有序的,所以在插入时,需要首先查找到合适的位置,然后就是修改指针(和链表中操作类似),然后更新跳表的

level变量。 跳表的插入总结起来需要三步:

1:查找到待插入位置, 每层跟新update数组;

2:需要随机产生一个层数;

3:从高层至下插入,与普通链表的插入完全相同;

比如插入key为25的节点,如下图。

对于步骤1,我们需要对于每一层进行遍历并保存这一层中下降的节点(其后继节点为NULL或者后继节点的key大于等于要插入的key),如下图,

节点中有白色星花标识的节点保存到update数组。

对于步骤2我们上面已经说明了是通过一个随机算法产生一个随机的层数,但是当这个随机产生的层数level大于当前跳表的最大层数时,我们

此时需要更新当前跳表最大层数到level之间的update内容,这时应该更新其内容为跳表的头节点head,想想为什么这么做,呵呵。然后就是更

新跳表的最大层数。

对于步骤3就和普通链表插入一样了,只不过现在是对每一层链表进行插入节点操作。最终的插入结果如图所示,因为新插入key为25的节点level随机

为4大于插入前的最大层数,所以此时跳表的层数为4。

 实现代码如下:

bool insert(skip_list *sl, keyType key, valueType val)

{

   Node *update[MAX_L];

   Node *q=NULL,*p=sl->head;//q,p初始化

   int i=sl->level-1;

   /******************step1*******************/

   //从最高层往下查找需要插入的位置,并更新update

   //即把降层节点指针保存到update数组

   for( ; i>=0; --i)

   {

       while((q=p->next[i])&& q->key

           p=q;

       update[i]=p;

   }

   if(q && q->key == key)//key已经存在的情况下

   {

       q->value = val;

       return true;

   }

   /******************step2*******************/

   //产生一个随机层数level

   int level = randomLevel();

   //如果新生成的层数比跳表的层数大

   if(level>sl->level)

   {

//在update数组中将新添加的层指向header

       for(i=sl->level; i

       {

           update[i]=sl->head;

       }

       sl->level=level;

   }

//printf("%d\n", sizeof(Node)+level*sizeof(Node*));

   /******************step3*******************/

   //新建一个待插入节点,一层一层插入

   q=create_node(level, key, val);

   if(!q)

       return false;

   //逐层更新节点的指针,和普通链表插入一样

   for(i=level-1; i>=0; --i)

   {

       q->next[i]=update[i]->next[i];

       update[i]->next[i]=q;

   }

   return true;

}

跳表删除节点操作

删除节点操作和插入差不多,找到每层需要删除的位置,删除时和操作普通链表完全一样。不过需要注意的是,如果该节点的level是最大的,

则需要更新跳表的level。实现代码如下:

bool erase(skip_list *sl, keyType key)

{

   Node *update[MAX_L];

   Node *q=NULL, *p=sl->head;

   int i = sl->level-1;

   for(; i>=0; --i)

   {

       while((q=p->next[i]) && q->key < key)

{

p=q;

}

       update[i]=p;

   }

   //判断是否为待删除的key

   if(!q || (q&&q->key != key))

       return false;

   //逐层删除与普通链表删除一样

   for(i=sl->level-1; i>=0; --i)

   {

       if(update[i]->next[i]==q)//删除节点

       {

           update[i]->next[i]=q->next[i];

           //如果删除的是最高层的节点,则level--

           if(sl->head->next[i]==NULL)

               sl->level--;

       }

   }

   free(q);

q=NULL;

   return true;

}

跳表的查找操作

跳表的优点就是查找比普通链表快,其实查找操已经在插入、删除操作中有所体现,代码如下:

valueType *search(skip_list *sl, keyType key)

{

   Node *q,*p=sl->head;

q=NULL;

   int i=sl->level-1;

   for(; i>=0; --i)

   {

       while((q=p->next[i]) && q->key

       {

           p=q;

       }

       if(q && key==q->key)

           return &(q->value);

   }

   return NULL;

}

跳表的销毁

上面分别介绍了跳表的创建、节点插入、节点删除,其中涉及了内存的动态分配,在使用完跳表后别忘了释放所申请的内存,不然会内存泄露的。

不多说了,代码如下:

// 释放跳跃表

void sl_free(skip_list *sl)

{

   if(!sl)

       return;

   Node *q=sl->head;

Node *next;

while(q)

   {

next=q->next[0];

free(q);

q=next;

   }

   free(sl);

}

关于skiplist实现部分就到这里,完整代码及其测试请移步: https://github.com/ustcdane/skiplist/ 。

skiplist复杂度分析

skiplist分析如下图(摘自这里)

完整代码及其测试: https://github.com/ustcdane/skiplist/ , 接下来可以尝试着分析Redis 源代码中skiplist相关的数据结构了。

参考:

https://www.cs.auckland.ac.nz/software/AlgAnim/niemann/s_skl.htm

http://www.cnblogs.com/xuqiang/archive/2011/05/22/2053516.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容