计算架构的演进

@(System)[Fundamentals]

姚伟峰

Landmark

演进路标

Superscalar时期(1990s)

超标量时期主要关注single core的性能，主要使用的方法有：

ILP(Instruction Level Parallelism)

ILP顾名思义就是挖掘指令性并行的机会，从而增加指令吞吐。指令吞吐的度量是: IPC(Instructions Per Cycle)即每个clock cycle可以执行的指令数。在未做ILP的时候 IPC = 1。
增加IPC主要通过pipeline技术来完成(如下图)。Pipeine技术把指令的执行过程分成多个阶段(stages)，然后通过一个同步clock来控制，使得每一拍指令都会往前行进到pipeline的下一个阶段，这样理想情况下可以保证同一个cycle有条指令在pileline内，使得pipeline的所有stage都是忙碌的。称为pipeline的深度(depth)。

pipeline示意图

下图是RISC-V的标准pipeline，它的，分别为：取指(Instruction Fetch, IF)，译指(Instruction Decode, ID)，执行(Execute, EX)，访存(Memory Access, Mem)，回写(Write Back, WB)。其中IF和ID称为前端(Front End)或者Control Unit，执行/访存/回写称为后端(Back End)或者广义Arithmetic/Logical Unit(ALU)。

pipeline并行示意图

RISC-V pipeline

DLP(Data Level Parallelism)

提高数据并行度的主要方式是增加每个execution engine单clock cycle能处理的数据数来达成。传统的CPU一个clock只能处理一个标量的运算，我们叫它scalar core。增加DLP的方式是使得一个clock能处理一个特定长度的vector数据，这就是vector core。目前vector core主要通过SIMD(Single Instruction Multiple Data)技术来实现数据并行，如ARM的NEON，X86的SSE、AVX(Advanced Vector eXtensions)、AVX2、AVX-512，以及GPU的SIMT(Single Instruction Multiple Data)的execution engine都是SIMD。
下图SunnyCove core的port 5有一个AVX-512的FMA512(512-bit Fused MultiplyAdd) 它可以带来16个FP32乘加运算的DLP。

AVX-512 SIMD

Heterogeneous Parallelism

这一时期，我们也能依稀看到异构并行的萌芽，体现在标量和向量的异构并行上。下图就体现出标量和向量的并行。

Multi Core时期(2000s)

多核时期在继续抠ILP、DLP的同时，慢慢开始重视TLP(Thread Level Parallelism)。主要想法是通过组合多个同构(homogeneous)核，横向扩展并行计算能力。

TLP(Thread Level Parallelism)

Physical Multi-Core

Physical Multi-Core就很简单了，就是纯氪金，对CPU和GPU而言都是堆核，只不过GPU把核叫作SM(Streaming Multiprocessor, NV)，SubSlice(Intel)或Shader Array(AMD)。
下图是x86 Icelake socket，它有28个cores。

CPU

下图是NV A100对应的GA100 full chip，它有128个cores(SMs)。

GPU

Hardware Threading

相比Physical Multi-Core，Hardware Threading就是挖掘存量了。它的基本假设是现有单程序pipeline里因为各种依赖会造成各种stall，导致pipeline bubble，且想仅靠从单个程序中来fix从而打满pipeline利用率比较困难，所以考虑跨程序挖掘并行度。基于这个假设，一个自然的想法就是增加多个程序context，如果一个程序stall了，pipeline就切到另一个，从而增加打满pipeline的概率。示意图如下。
CPU：

CPU

GPU：

GPU

这就可以看出为啥叫threading了，就是不增加实际pipeline，只增加execution context的白嫖，:)，这是threading的精髓。跟software threading不一样的地方是，这个execution context的维护和使用是hardware做的，而不是software做的，因此叫hardware threading。
因为有多个contexts对应于同一个pipeline，因此如何Front End间如何issue指令也有两种方式：

• SMT(Simultaneous Multi-Threading)
  Each clock, the pipeline chooses instructions from multiple threads to run on ALUs。典型的SMT就是Intel X86 CPU的Hyper Threading Technology(HT or HTT)，每个core有2个SMT threads；以及NV GPU的warp。
• IMT(Interleaved Multi-Threading)
  Each clock, the pipeline chooses a thread, and runs an instruction
  from the thread on the core’s ALUs. Intel Gen GPU采用的SMT和IMT的混合技术。

Heterogeneous Computing时期(2010s+)

由于application对算力(Higher Computation Capacity)和能效(Better Power Efficiency)的需求越来越高，体系架构为了应对这种需求发生了methodology的shift，从One for All走向Suit is Best。这是需求侧。
而在供给侧，GPU的成功也侧面证明了Domain Specific Computing的逐渐成熟。

对software productivity而言，需要有两个前提条件：

• Unified Data Access
  这个OpenCL 2.0的SVM (Shared Virtual Memory)和CUDA的UVM(Unified Virtual Memory)有希望。硬件上coherency-aware data access硬件如CXL可以从性能角度support这个。
• Unified Programming Model
  需要类C/C++的且支持异构计算的统一编程语言，这个有CUDA，OpenCL以及DPC++。

异构计算的题中之意是：Use best compute engine for each workload by re-balancing ILP & DLP & TLP，最终计算能力是3者的组合：

对不同的wokload，我们需要考虑我们是更倾向于A Few Big还是Many Small。

目前最常见的异构计算是CPU和GPU的异构计算，CPU作为latency machine代表, GPU作为throughput machine的代表，二者各有所长。

CPU vs GPU

CPU Micro-Architecture Characteristics

• TLP
  tens of cores, each with 2 hardware threads;
• ILP
  4 compute ports w/ OoO(Out of Order) issue

• DLP
  SIMD width supported by Increased $ bandwidth

  
  

GPU Micro-Architecture Characteristics

• TLP
  hundreds of cores, each with many(e.g. 32) hardware threads;
  simple and efficient thread generation/dispatching/monitoring
• ILP
  2~3 compute ports, mainly in-order issue
• DLP
  Wider SIMD width, plus large register files reduce $/memory bandwidth needs and improve compute capability and efficiency

随着算力和能效的要求越来越高，除了挖掘冯-诺伊曼体系内的异构计算机会外(如CPU+GPU异构, CPU+ASIC异构等)。大家还开始revisit其他体系结构，寻找cross体系结构的异构机会，如最近一段时间大家讨论比较多的dataflow architecture或者spatial computing。路是越走越宽了！

References

1. CSE 471: Computer Design and Organization - Spring 2015
2. CSE 471: Computer Design and Organization - Spring 2007
3. Design of a dual-issue RISC-V processor
4. Astorisc architecture overview: pipeline
5. NVIDIA A100 Tensor Core GPU Architecture
6. Introducing RDNA Architecture
7. Intel Processor Graphics Gen11 Architecture
8. Hyper-threading Wikipedia
9. Stanford CS149: Parallel Computing - Fall 2021
10. OpenCL™ 2.0 Shared Virtual Memory Overview
11. Everything You Need To Know About Unified Memory
12. Peer-to-Peer & Unified Virtual Addressing
13. 关于GPU一些笔记(SIMT方面)
14. Instruction Pipeline Simulation
15. What's up with my branch on GPU?
16. An AnandTech Interview with Jim Keller: 'The Laziest Person at Tesla'
17. Moore's Law in the age of AI Chips
18. ScaledML archive
19. RISC-V Pipeline Implementation