外部排序(归并,败者树)

  • 归并排序方法:
    1、将记录分为若干个文件,每个文件先进行内部排序,这些排序好的叫做归并段或者顺串。
    2、用归并将归并段由小变大,由多变少。

  • 优化
    为了减少外部IO时间,要增加归并路数(多个文件同时进行归并),减少初始归并段。但增加归并路数的同时每次比较按照常规的时间也会更长,比如二路归并我们需要比较一次即可选出最小值,n路归并需要n-1次,但是我们可以利用上次比较的信息来减少多路归并的比较次数,这就是败者树。

  • 败者树:
    胜者树和堆的区别:
    相同的都是完全树,每次调整的时间复杂度也都是O(logn),最大的区别就是堆的非叶子节点有包含元素,而胜者树只有叶子节点有元素,非叶子节点用来存放两个节点的胜者。由于这种结构上的差异,因此每次在调整的时候堆要分别跟两个孩子进行两次比较,而胜者树只需要跟其兄弟进行一次比较即可,效率上会高一点,有些人可能跟我一开始一样有这样的疑问,虽然你在比较次数上少了一半,但堆由于非叶子节点也含有原始数据,所以堆的树的高度会比胜者树低一些,那么需要调整的次数少了,综合起来不是差不多吗?要注意这里的树是完全二叉树,每增加一层,节点数目就增加了一倍多,因此堆的高度一般也只比胜者树矮一层,而一般树的高度都是比较高的,这样定性分析来说,堆在高度上也只有很小的优势。
    胜者树和败者树的区别:
    一开始我是想写代码实现败者树的,没想到理解成胜者树,实现成了胜者树。实际操作发现,胜者树每次都将胜者放在父节点上面,如果这是最终的胜者,一路上升到到根节点都是胜者的记录,这就没有必要了!于是就有了败者树,败者树的父节点存储的是败者,下次我们直接跟父节点进行比较就可以了,实际代码上减少了计算兄弟的计算量。

  • 胜者树相交于败者树代码的区别:
    下面是胜者树的代码,可以看到每次更新新的数据的时候,我们要让胜者一路沿着树上浮到根节点(根节点下标为1)。很清楚地看到,我们先计算父节点的位置,然后再计算左右节点的位置,将左右节点来进行比较放到父节点,然后父节点又跟其兄弟进行比较,以此类推。

        father_index = (offset+path)//2
        while father_index != 0:
            lc_index = father_index*2
            rc_index = lc_index + 1
            if loser_tree[lc_index][1] < loser_tree[rc_index][1]:
                loser_tree[father_index] = loser_tree[lc_index]
            else:
                loser_tree[father_index] = loser_tree[rc_index]

            father_index //= 2

败者树调整新加入的节点部分的代码,可以看到每次都是暂时优胜者跟上一个进行比较:

        new_comer = pre_winnner
        loser_tree[0] = loser_tree[new_comer]
        # 对比胜者树,这里每次都只需跟上一级进行比较即可
        while new_comer != 0:
            if loser_tree[new_comer][1] < loser_tree[0][1]:
                loser_tree[new_comer],loser_tree[0] = loser_tree[0],loser_tree[new_comer]
            else:
                pass

            new_comer //= 2
  • 置换选择排序(生成初试归并段)
    为了在内存大小有限的情况下尽量增加归并段的长度。
    可以用最小堆或者败者树来实现
    生成的初试归并段长度、是传统方法的2倍

-最佳归并树
长度不等的归并段在归并路数相等的情况下,归并的顺序不同效率也不同,归家归并树可以减少比较次数。

胜者树全部代码:
注:本来是想实现败者树的,但是理解错误成胜者树,所以变量名称含loser不要太在意。另外我写完后才发现教科书上的图所代表的那棵树,也就是下面的loser_tree这个列表是没有包含我们分析中的叶子节点的,但我在实现上是有包含的,复制了过来,这样子代码写起来更加简洁,后来想要改,可以改,但是改的并不是很好看,所以维持现状。

# 败者树来减少多路归并所需的比较次数
BIG_NUM = 100000000
def loser_tree_merge(data):
    # data是个二维数组,其横向向量个数为败者树的路数
    # 每个向量所包含元素为各自路数的元素个数
    paths_of_merge = len(data)
    paths_length = [0]*paths_of_merge
    for i in range(paths_of_merge):
        paths_length[i] = len(data[i])
    # 败者树是一棵完全二叉树,归并段输入的数据为树的叶子
    # 完全二叉树节点个数N = N0+N1+N2,其中N0=N2+1,N0 = paths_of_merge,N1根据根据观察永远为0
    loser_tree_num = paths_of_merge + (paths_of_merge - 1) + 1
    loser_tree = [0]*loser_tree_num
    paths_index = [0]*paths_of_merge
    offset = loser_tree_num - paths_of_merge

    # 填充数据到叶子节点
    for i in range(paths_of_merge):
        loser_tree[offset+i] = [i,data[i][paths_index[i]]]
        paths_index[i] += 1

    # 调整非叶子节点,注意是由最后向前调整
    for i in range(offset-1,0,-1):
        lc = i*2
        rc = lc+1
        if loser_tree[lc][1] < loser_tree[rc][1]:
            loser_tree[i] = loser_tree[lc]
        else:
            loser_tree[i] = loser_tree[rc]

    while loser_tree[1][1]!=BIG_NUM:
        path,num = loser_tree[1]
        print(num,end = ' ')

        if paths_index[path] < paths_length[path]:
            new_elem = data[path][paths_index[path]]
            paths_index[path] += 1
            loser_tree[offset+path] = [path, new_elem]
        else:
            new_elem = BIG_NUM
            loser_tree[offset+path] = [path,new_elem]

        father = (offset+path)//2
        while father != 0:
            lc = father*2
            rc = lc + 1
            if loser_tree[lc][1] < loser_tree[rc][1]:
                loser_tree[father] = loser_tree[lc]
            else:
                loser_tree[father] = loser_tree[rc]

            father //= 2


def main():
    data = [[1,2],[3,5,8],[6,7,9]]
    loser_tree_merge(data)
    

if __name__ == '__main__':
    main()

真正的败者树来了:

# 败者树来减少多路归并所需的比较次数
BIG_NUM = 987654321
def loser_tree_merge(data):
    # data是个二维数组,其横向向量个数为败者树的路数
    # 每个向量所包含元素为各自路数的元素个数
    paths_of_merge = len(data)
    paths_length = [0]*paths_of_merge
    for i in range(paths_of_merge):
        paths_length[i] = len(data[i])
    # 败者树是一棵完全二叉树,归并段输入的数据为树的叶子
    # 完全二叉树节点个数N = N0+N1+N2,其中N0=N2+1,N0 = paths_of_merge,N1根据根据观察永远为0
    loser_tree_num = paths_of_merge + (paths_of_merge - 1) + 1
    loser_tree = [0]*loser_tree_num
    paths_index = [0]*paths_of_merge
    offset = loser_tree_num - paths_of_merge
    # 败者树第一轮还需要另外记录胜者,之后就不用了
    winner = [0]*loser_tree_num

    # 填充数据到叶子节点
    for i in range(paths_of_merge):
        loser_tree[offset+i] = [i,data[i][paths_index[i]]]
        winner[offset+i] = [i,data[i][paths_index[i]]]
        paths_index[i] += 1

    # 调整非叶子节点,注意是由最后向前调整
    for i in range(offset-1,0,-1):
        lc = i*2
        rc = lc+1
        if winner[lc][1] < winner[rc][1]:
            loser_tree[i] = winner[rc]
            winner[i] = winner[lc]
        else:
            loser_tree[i] = winner[lc]
            winner[i] = winner[rc]

    loser_tree[0] = winner[1]
    while loser_tree[0][1]!=BIG_NUM:
        path,num = loser_tree[0]
        print(num,end = ' ')

        pre_winnner = offset + path

        if paths_index[path] < paths_length[path]:
            new_elem = data[path][paths_index[path]]
            paths_index[path] += 1
            loser_tree[pre_winnner] = [path, new_elem]
        else:
            new_elem = BIG_NUM
            loser_tree[pre_winnner] = [path,new_elem]

        new_comer = pre_winnner
        loser_tree[0] = loser_tree[new_comer]
        # 对比胜者树,这里每次都只需跟上一级进行比较即可
        while new_comer != 0:
            if loser_tree[new_comer][1] < loser_tree[0][1]:
                loser_tree[new_comer],loser_tree[0] = loser_tree[0],loser_tree[new_comer]
            else:
                pass

            new_comer //= 2


def main():
    data = [[3,5,8],[1,2,4],[6,7,9]]
    loser_tree_merge(data)


if __name__ == '__main__':
    main()

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,616评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,020评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,078评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,040评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,154评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,265评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,298评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,072评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,491评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,795评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,970评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,654评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,272评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,985评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,815评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,852评论 2 351

推荐阅读更多精彩内容

  • 因为之前就复习完数据结构了,所以为了保持记忆,整理了一份复习纲要,复习的时候可以看着纲要想具体内容。 树 树的基本...
    牛富贵儿阅读 6,853评论 3 10
  • 树的概述 树是一种非常常用的数据结构,树与前面介绍的线性表,栈,队列等线性结构不同,树是一种非线性结构 1.树的定...
    Jack921阅读 4,445评论 1 31
  • 内排序的归并排序是采用二路归并。 将已有序的子序列合并,得到完全有序的序列;即先使每个子序列有序,再使子序列段间有...
    Arya鑫阅读 14,181评论 0 10
  • B树的定义 一棵m阶的B树满足下列条件: 树中每个结点至多有m个孩子。 除根结点和叶子结点外,其它每个结点至少有m...
    文档随手记阅读 13,202评论 0 25
  • 时针滴答滴答, 摆过了多少春秋冬夏, 时间告诉我们生活不会是童话, 现实总是没有办法, 烦恼有些时候被无限放大, ...
    贰十三先生阅读 751评论 3 14