并行可扩展性

1 常用术语

可扩展：scalability or scaling
强可扩展：strong scalability or scaling
弱可扩展：weak scalability or scaling
加速比：speedup

可扩展性包含软件和硬件可扩展，以下讨论以软件可扩展为主。

2 加速比（speedup）

这里为一个处理器时的计算时间，为N个处理器（processor）时的计算时间。

3 强可扩展（strong scalability or scaling）

Amdahl’s law 阿姆达尔定律

该定律描述的是在问题规模一定时，增加计算资源时的可扩展（scaling）能力。

1967年，Amdahl指出，速度的提高受限于软件中不适合并行化的串行部分，强可扩展定义为

其中为不能并行计算的部分（串行）所用时间的比例，为可并行部分所用时间的比例，N是处理器个数。

4 弱可扩展（weak scalability or scaling）

Gustafson’s law 古斯塔夫森定律

该定律描述的是在问题规模和计算资源同时增加时的可扩展（scaling）能力。

弱可扩展定义为

公式符合意义如上。

Reference
https://www.kth.se/blogs/pdc/2018/11/scalability-strong-and-weak-scaling/