来自 深入浅出计算机组成原理
现代CPU架构多采用流水线技术，即同一个时钟周期内存在多个"流水线"同时处理一条指令的"取指令"、"指令译码"、"执行指令"、"访存"、"写回"的不同阶段。流水线层面的优化方案有很多: 乱序执行和分支预测等。但是这些优化层面是远远不够的，下面介绍现代 cpu 性能优化方面的一些"黑科技"。
多发射和超标量
在指令的执行过程中，现代cpu的流水线技术在取指令的阶段是不能并行的，即使是多条流水线，取指令阶段也要等待其他流水线走完取指令这个时钟周期才能去取指令。如下图:
既然取指令不可以并行，那么为什么不能在取指令阶段同时取多条指令在一条流水线取执行呢？从另一种方式达到并行（同一时钟周期执行多条指令）的效果。多发射与超标量就是这样一种通过增加硬件的方式来实现这样的方案，但是这样的设计也大大加重了cpu电路的复杂度，一次性取多条指令，需要判断指令之间是否存在依赖关系(一旦存在依赖关系就不能丢到执行阶段)，对这种依赖关系的检测是cpu电路变得异常复杂。
超长指令字设计VLIW(安腾处理器的失败)
多发射与超标量判断指令间的依赖关系是依靠cpu内部的硬件电路来检测，VLIW设想不依靠硬件电路来检测，而是依靠软件层面(编译器)来检测指令间的依赖关系。在编译器阶段，将没有依赖关系的指令代码交换位置，然后将多条连续的指令打包成一个指令包，cpu处理的时候不再是获取单条指令，而是获取一个指令包：
这样的处理方式看似很好，但是无法向前兼容（不同的指令集）也无法向后兼容：如果需要提高指令的并发量，就需要增大指令包里面的最大指令数，而一旦增大了指令包里面的指令数，由于是在软件层面的处理（指令依赖检测），就需要编译器来重新编译才能满足程序运行条件，而不能直接运行。
超线程（Hyper-Threading）
不管是现代cpu的流水线架构，还是多发射和超标量。都是希望在同一时钟周期内支线多条指令，来提高cpu的吞吐率。超线程就是：cpu在处理指令的时候会遇到依赖检测，冒险问题。那就找一些和这些指令没有依赖的指令来运行，而这些没有依赖的指令就是其他程序。不同的程序是完全独立的，并行一定没有问题。
现在的cpu核心，不管是多个cpu核心上面运行不同的程序，还是单个cpu核心中通过切换线程执行不同的任务，在同一时间点上，一个物理的 CPU 核心只会运行一个线程的指令，所以其实我们并没有真正地做到指令的并行运行
而超线程是将物理层面上的cpu核心，"伪装"成两个逻辑层面的cpu核心（感觉像虚拟内存和物理内存的映射），使得在一个cpu核心内部维护两个线程的指令的信息。(只有寄存器会有双份)
这样两个线程中的两个程序，就可以在线程1流水线等待（NOP操作）时去执行线程2的指令，线程2流水线等待时切换至执行线程1的操作。这样CPU就不必浪费太多时间在流水线停顿上。
单指令多数据流（SIMD）
不同的cpu支持的指令集不尽相同，从循环到向量化，看cpu的性能提升。
$ python
>>> import numpy as np
>>> import timeit
>>> a = list(range(1000))
>>> b = np.array(range(1000))
>>> timeit.timeit("[i + 1 for i in a]", setup="from __main__ import a", number=1000000)
32.82800309999993
>>> timeit.timeit("np.add(1, b)", setup="from __main__ import np, b", number=1000000)
0.9787889999997788
>>>
两段代码输出差异了30多倍。所有用 Python 讲解数据科学的教程里，往往在一开始就告诉你不要使用循环，而要把所有的计算都向量化（Vectorize）
而前面使用循环来一步一步计算的算法呢，一般被称为 SISD，也就是单指令单数据（Single Instruction Single Data）的处理方式。如果你手头的是一个多核 CPU 呢，那么它同时处理多个指令的方式可以叫作 MIMD，也就是多指令多数据（Multiple Instruction Multiple Dataa）。
SIMD 单条指令的执行：
可以看出，SIMD指令不管在获取指令，还是执行指令，都是并行执行的，前面的demo只是进行自增1，是完全没有指令依赖的，也没有毛线问题需要去处理，自然可以省下很多时间。
基于SIMD的向量指令计算，指令集叫做MMX（Matrix Math eXtensions）矩阵数学拓展。基于此，cpu才有能力进行多媒体的处理。
思考
有一句名言：软硬件编程中任何情况都可以通过增加一个中间层来解决。
在程序执行执行过程中，通过增加一个虚拟内存层，映射到实际的物理内存来更有效的管理内存；多发射和超标量中通过增加硬件来保存从内存中取出的多条指令，然后分发给译码器；许多的软件中间件应该也是这个思想吧。
