什么是算法分析
当我们说算法分析的时候我们在说什么？（狭义的技术层面的定义）：
算法分析指的是：对算法在运行时间和存储空间这两种资源的利用效率进行研究。
即时间效率和空间效率。
时间效率指算法运行有多快；
空间效率指算法运行时需要多少额外的存储空间。
（时间效率也叫时间复杂度；空间效率也叫空间复杂度。）
在计算机时代早期，时间和空间这两种资源都是及其昂贵的。但经过半个多世纪的发展，计算机的速度和存储容量都已经提升了好几个数量级。
现在空间效率已经不是我们关注的重点了，但时间效率的重要性并没有减弱到这种可以忽略的程度。
所以，当我们分析一个算法的的时候，我们只关注它的时间效率。
算法分析通用思路：
当我们遇到一个算法时，我们可以用这样一个通用的思路去分析它：
1. 输入规模
首先第一步考虑这个算法的输入规模是什么？即输入参数，再换句话说也就是待解决的问题有多大？
从这里入手是因为一个显而易见的规律就是，不管使用什么算法，输入规模越大，运行效率肯定会更长。
输入规模的确定要根据具体要解决的实际问题的细节来决定，相同的问题不同的细节，输入规模是不一样的。比如：一个拼写检查的算法，
如果算法关注的是单独的字符检查，那么字符的数量就是输入规模的大小；
如果算法关注的是词组搭配的检查，那么这个输入规模就要比单独的字符检查的输入规模要小，这里输入规模就是词的数量了。
2. 运行时间的度量单位
接下来第二步考虑这个算法的运行时间，即这个算法运行地快慢。
我们可以简单地用计时的方法，即某个算法运行了多少毫秒。
但这个方式有一个缺陷就是在不同计算机上，相同算法的运行时间是不一样，因为有的电脑快有的电脑慢。
所以有没有一种度量方法可以排除这些无关因素？
答案是肯定的，我们可以关注算法执行了多少步，即操作的运行次数。而且为了简化问题我们只需关注最重要的操作步骤，即所谓的基本操作，因为基本操作已经足够可以决定这个算法的品质。
比如一个算法通常是最内层的循环中是最费时的操作，那我们就只需要把它循环了多少次作为基本操作进行研究。
3. 增长次数
这里需要延伸的一点是在大规模的输入情况下考虑执行次数的增长次数。因为针对小规模的输入，在运行时间的差别上不太明显。比如只对100个数字进行排序，不管你用什么排序算法，时间效率都差不多。只有在输入规模变大的时候，算法的差异才变得既明显又重要了起来。
简单来说，
如果一个算法在输入规模变大时，但运行时间平缓增长，那么我们就可以说它就是一个效率高的算法；
而如果一个算法在输入规模变大时，它的运行时间成指数级增长，那就可以说这个算法的效率很差。
总而言之就是，对基本操作的大规模输入情况下的变化的研究才更具有深远意义。
4. 算法的最优、最差和平均效率
当我们了解了输入规模对算法时间效率的会产生影响，但算法的执行效率却不仅仅只受输入规模的影响，某些情况下，算法的执行效率更取决于输入参数的细节。
比如：一个简单的顺序查找的算法，在数组里查找数字 9：
在数组 l1 = [1, 2, 3, 4, 5, 6, 7, 8, 9] 里查找数字 9 和在相同的输入规模的另一个数组 l2 = [9, 1, 2, 3, 4, 5, 6, 7, 8]里查找数字 9，在数组 l2 的执行效率肯定更高。
上面小例子中的两个数组就体现了两个极端：输入最优情况和输入最坏情况。
相对应的，
在输入最优情况下的算法就叫最优效率；
在输入最坏情况下的算法就叫最差效率；
在这里有两个经验性的规则：
- 最优效率的分析远远不如最差效率分析重要（因为最差效率可以确定算法运行时间的上界）；
- 如果一个算法的最优效率都不能满足我们的要求，那么我们就可以立即抛弃它。
在现实情况下，输入是“随机”的，既不会是最优输入也不会是最坏输入。所以这里又要引出一个概念，即：平均效率。
首先指出，我们绝不能用“最优效率”和“最差效率”的平均数求得平均效率，即便有时间这个平均数和真正的平均效率巧合地一致。
正确的步骤是：我们要对输入规模 n 做一些假设。
对于上面的顺序查找算法的例子，标准的假设有两个：
- 输入里包含目标数字，那么算法会成功查找到目标数字，此时，成功查找概率是 p(0 <= p <= 1)；
- 对于任意数字 i，匹配发生在列表的第 i 个位置的概率是相同的。
基于这两个假设求平均效率可得：
- 成功查找到目标的情况下，对于任意 i，第一次匹配发生在第 i 个位置的概率都是 p/n，此时，算法所做的比较次数是 i；
- 输入数组里不包含目标数字，那么算法不成功查找，比较次数是 n，在这种情况下，可能性是 (1-p)。
由此，平均效率 C(n) = p(n+1) / 2 + n(1-p)
C(n) = [1 * p/n + 2 * p/n + ... + i * p/n + ... + n * p/n] + n*(1-p)
= p/n[1 + 2 + ... + i + ... + n] + n(1-p)
= p/n * n(n+1)/2 + n(1-p)
= p(n+1) / 2 + n(1-p)
由此可知，
- 如果
p = 1，也就是说成功率是 100%，查找一定能成功，代入公式可得(n+1)/2，即大约要查找数组中一半的元素； - 如果
p = 0，也就是说成功率是 0%，查找必定失败，代入公式可得n，即算法会对所有元素全部查找一遍。
从这个例子可以发现，平均效率的研究要比最差效率和最优效率的研究困难很多：
我们要将输入规模 n 划分为几种类型，对于同类型的输入，使得算法的执行次数是相同的。
结束：
算法是计算机科学的基础，以后会继续更新算法相关的随笔，对算法感兴趣的朋友欢迎关注本博客，也欢迎大家留言讨论。
我们正处于大数据时代，对数据处理感兴趣的朋友欢迎查看另一个系列随笔：
利用Python进行数据分析 基础系列随笔汇总
参考资料：
Introduction to The Design and Analysis of Algorithms, Third Edition by Anany Leitin
