排序(1)-排序的基础知识和复杂度O(n^2)的排序算法

排序通常是我们学习到的第一个算法,排序算法的应用十分广泛。下面我们就来学习关于排序算法的种种知识。
首先,先给出一个思考题,插入排序和冒泡排序是非常常见的排序方式,它们的时间复杂度都是O(n2),但是在实际的软件开发中,我们常常倾向于使用插入排序而不是冒泡排序,这是为什么呢?学习完本节内容,你会得到答案。

如何分析一个排序算法?

对于排序算法,我们一般会从这几个方面衡量:

排序算法的执行效率(不仅仅包括时间复杂度):

1.最好情况、最坏情况、平均情况 的时间复杂度

分析一个排序算法,你要给出最好情况、最坏情况、平均情况下的时间复杂度,并且你还要说明怎样的数据会造成“最好”和“最坏”的情况。
为什么要区分这三种复杂度呢?第一,有些排序算法在三中情况下的性能表现差异很大,所以我们最好都坐一下区分。第二,要排序的数据中,有序程度是不同的,这种程度对排序的执行会有影响,我们需要直到排序算法在不同数据下的性能表现。

2.关注时间复杂度的系数、常数、低阶

有些排序算法具有相同的时间复杂度,在这种情况下我们如何考量它们之间的性能差异呢?这时我们就需要把系数、常数、低阶 都考虑进来。

3.比较次数和交换(或移动)次数

基于比较的排序算法在执行过程中,会涉及 比较 和 元素移动两种操作,这也是我们需要考量的。

排序算法的内存消耗(空间复杂度):

对于空间复杂度为O(1)的排序算法,我们称之为原地排序

排序算法的稳定性:

稳定性:待排序的序列中存在值相等的元素,经过排序之后,他们的先后顺序不发生改变。
你可能会疑惑稳定性对排序有什么意义呢?其实,单纯的数字排序确实不需要稳定性,但是在实际编程中,你可能对其它属性也有所要求。

比如说,我们现在要为电商交易系统中的“订单”进行排序。订单有两个属性:下单时间 和 订单金额。假设我们有庞大的订单数据,我们希望按照金额从小到大排序。对金额相同的订单,希望按照下单时间从早到晚有序,对于这样的一个需求,我们怎么办呢?

第一种想法是:先对金额进行排序,然后找到金额相同的订单再按照下单时间排序,这个想法没有问题,但是实际操作起来比较繁琐。
第二种想法:我们可以借助排序的稳定性,通过两次排序完成:首先,按照下单时间为订单排序,然后再使用稳定的排序算法,按照订单金额重新排序。经过这两次排序之后,就达到了要求。
我们用一个图帮助你理解:

排序稳定性的意义.jpg

几种复杂度为O(n2)的排序算法

冒泡排序

你可以这样理解冒泡:在一组数据中,依次两两比较,将大的数据放到上方(数据的后方),当一趟比较完成,最大的数就会在最上方(冒泡)。假设这组数据中共有n个数据,则进行n次冒泡就可以得到有序的数据。
你可以用这个图理解:


一趟冒泡排序.jpg

上面是一趟冒泡,当进行n次冒泡后:
冒泡全过程.jpg

排序完成。
上面的这种冒泡有优化的空间:如果在某一趟冒泡中没有发生数据交换,那么这个数据已经有序,我们可以通过一个标记实现:
冒泡的变动标记.jpg

下面是专栏作者给出的冒泡排序代码:

// 冒泡排序,a表示数组,n表示数组大小
public void bubbleSort(int[] a, int n) {
  if (n <= 1) return;
 
 for (int i = 0; i < n; ++i) {
    // 提前退出冒泡循环的标志位
    boolean flag = false;
    for (int j = 0; j < n - i - 1; ++j) {
      if (a[j] > a[j+1]) { // 交换
        int tmp = a[j];
        a[j] = a[j+1];
        a[j+1] = tmp;
        flag = true;  // 表示有数据交换      
      }
    }
    if (!flag) break;  // 没有数据交换,提前退出
  }
}

对照思路,我用python也写了冒泡:

def mp_sort(l):
    for i in range(len(l)):
        flag = False
        for j in range(len(l) - i - 1):
            if l[j] > l[j + 1]:
                l[j], l[j + 1] = l[j + 1], l[j]
                flag = True
        if not flag:
            break

让我们分析一下冒泡排序:

  • 空间复杂度:冒泡排序只使用了常量级的空间,空间复杂度为O(n),是原地排序算法
  • 稳定性:当两个元素相等的时候,我们可以不对元素进行交换,所以,是稳定的排序算法。
  • 时间复杂度:
    最好情况:数组已经有序,只需要进行一趟检测,复杂度为O(1)
    最坏情况:数组完全倒序,复杂度为O(n2)
    平均情况:如果要完全依照概率分析,分析十分复杂,所以这里使用一种简单的分析思路:
    有序度:数组中具有有序元素对的个数,其中有序元素对:

有序元素对:a[i] <= a[j], 如果i < j

下图:


有序度.jpg

满有序度:如果一个数组有 n 个数,且数组完全有序,其有序度为 n*(n-1)/2 ,这种完全有序的数组的有序度叫做满有序度。(只需要记住那个公式即可)
逆序度:和有序度的定义相反,我们也可以通过计算得到: 逆序度 = 满有序度 - 有序度

我们假设要排序的数组的初始状态是 4,5,6,3,2,1 ,其中,有序元素对有 (4,5) (4,6)(5,6),所以有序度是 3。n=6,所以排序完成之后终态的满有序度为 n*(n-1)/2=15。

过程如下:
冒泡有序度.jpg

你会发现,在冒泡排序中,每交换一次,有序度就 +1 ,也就是说,不管算法怎么改进,交换次数都是确定的,交换次数就 等于 逆序度。在最好情况下,逆序度为 0 ,在最坏情况下,逆序度为 n*(n-1)/2=15,我们取一个中间值 n*(n-1)/2=15,来假设有序度既不是很高也不是很低的情况。
换句话说,平均情况下,需要 n*(n-1)/2=15 次交换操作,比较操作比交换操作多,而复杂度的上限是O(n2),所以平均情况下的时间复杂度为O(n2)。

上面的过程并不严格,但还是很实用,在快排中我们还会用到这种方法来分析平均时间复杂度。

插入排序

插入思想:如果你要向一个有序数组中插入一个数据,你要怎么办?
数据插入.jpg

插入排序就是基于这种插入思想构成的算法:将整个数组分为两个区间:已排序区间 和 未排序区间。我们依次取出未排序区间的第一个数插入到已排序区间中,经过n次插入后排序完成:
插入排序的过程.jpg

话不多说,直接给代码:

// 插入排序,a表示数组,n表示数组大小
public void insertionSort(int[] a, int n) {
  if (n <= 1) return;

  for (int i = 1; i < n; ++i) {
    int value = a[i];
    int j = i - 1;
    // 查找插入的位置
    for (; j >= 0; --j) {
      if (a[j] > value) {
        a[j+1] = a[j];  // 数据移动
      } else {
        break;
      }
    }
    a[j+1] = value; // 插入数据
  }
}
def insert_sort(l):
    for i in range(len(l)):
        temp = l[i]
        j = i - 1
        while j >= 0:
            if l[j] > temp:
                l[j+1] = l[j]
            else:
                break
            j-=1
        l[j+1] = temp

插入排序的性能分析:

  • 是否为原地排序算法:是
  • 是否为稳定排序算法:是
  • 时间复杂度:
    最好情况:O(n)
    最坏情况:O(n2)
    平均时间复杂度:
    我们依旧借助有序度做近似分析:你会发现,算法移动数据的次数 等于 逆序度:
    插入排序的有序度.jpg

    分析过程类似,最后得到平均时间复杂度为O(n2)。

思考解答

前面我们提到,即使冒泡和插入两种排序算法的时间复杂度一样,但是人们更加喜欢使用插入排序。
下面就直接引用专栏作者的话:

我们前面分析冒泡排序和插入排序的时候讲到,冒泡排序不管怎么优化,元素交换的次数是一个固定值,是原始数据的逆序度。插入排序是同样的,不管怎么优化,元素移动的次数也等于原始数据的逆序度。

但是,从代码实现上来看,冒泡排序的数据交换要比插入排序的数据移动要复杂,冒泡排序需要 3 个赋值操作,而插入排序只需要 1 个。我们来看这段操作:

冒泡排序中数据的交换操作:
if (a[j] > a[j+1]) { // 交换
   int tmp = a[j];
   a[j] = a[j+1];
   a[j+1] = tmp;
   flag = true;
}

插入排序中数据的移动操作:
if (a[j] > value) {
  a[j+1] = a[j];  // 数据移动
} else {
  break;
}

我们把执行一个赋值语句的时间粗略地计为单位时间(unit_time),然后分别用冒泡排序和插入排序对同一个逆序度是 K 的数组进行排序。用冒泡排序,需要 K 次交换操作,每次需要 3 个赋值语句,所以交换操作总耗时就是 3K 单位时间。而插入排序中数据移动操作只需要 K 个单位时间。

这个只是我们非常理论的分析,为了实验,针对上面的冒泡排序和插入排序的 Java 代码,我写了一个性能对比测试程序,随机生成 10000 个数组,每个数组中包含 200 个数据,然后在我的机器上分别用冒泡和插入排序算法来排序,冒泡排序算法大约 700ms 才能执行完成,而插入排序只需要 100ms 左右就能搞定!

所以,虽然冒泡排序和插入排序在时间复杂度上是一样的,都是 O(n2),但是如果我们希望把性能优化做到极致,那肯定首选插入排序。


以上就是这部分的内容,希望你有所收获。

注:本文章的主要内容来自我对极客时间app的《数据结构与算法之美》专栏的总结,我大量引用了其中的代码和截图,如果想要了解具体内容,可以前往极客时间

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351