01 高并发
1.1 简介
高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。 高并发相关常用的一些指标有响应时间(Response Time),吞吐量(Throughput),每秒查询率QPS(Query Per Second),并发用户数等。
- 响应时间:系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms,这个200ms就是系统的响应时间。
- 吞吐量:单位时间内处理的请求数量。
- QPS:每秒响应请求数。在互联网领域,这个指标和吞吐量区分的没有这么明显。
- 并发用户数:同时承载正常使用系统功能的用户数量。例如一个即时通讯系统,同时在线量一定程度上代表了系统的并发用户数。
1.2 如何提高并发能力
(1)垂直扩展(Scale Up)
- 增强单机硬件性能(优先):例如:增加CPU核数如32核,升级更好的网卡如万兆,升级更好的硬盘如SSD,扩充硬盘容量如2T,扩充系统内存如128G。
- 提升单机架构性能:例如:使用Cache来减少IO次数,使用异步来增加单服务吞吐量,使用无锁数据结构来减少响应时间。
- 总结:管是提升单机硬件性能,还是提升单机架构性能,都有一个致命的不足:单机性能总是有极限的。所以互联网分布式架构设计高并发终极解决方案还是水平扩展。
(2)水平扩展(Scale Out)
只要增加服务器数量,就能线性扩充系统性能。水平扩展对系统架构设计是有要求的,难点在于:如何在架构各层进行可水平扩展的设计。
02 高性能
2.1 简介
- 简单的说,高性能(High Performance)就是指程序处理速度快,所占内存少,cpu占用率低。
- 高并发和高性能是紧密相关的,提高应用的性能,是肯定可以提高系统的并发能力的。
- 应用性能优化的时候,对于计算密集型和IO密集型还是有很大差别,需要分开来考虑。
- 增加服务器资源(CPU、内存、服务器数量),绝大部分时候是可以提高应用的并发能力和性能 (前提是应用能够支持多任务并行计算,多服务器分布式计算才行),但也是要避免其中的一些问题,才可以更好的更有效率的利用服务器资源。
2.2 提高性能的注意事项
- 避免因为IO阻塞让CPU闲置,导致CPU的浪费。
- 避免多线程间增加锁来保证同步,导致并行系统串行化。
- 免创建、销毁、维护太多进程、线程,导致操作系统浪费资源在调度上。
- 避免分布式系统中多服务器的关联,比如:依赖同一个mysql,程序逻辑中使用分布式锁,导致瓶颈在mysql,分布式又变成串行化运算。
03 高可用
3.1 简介
高可用性(High Availability)通常来描述一个系统经过专门的设计,从而减少停工时间,而保持其服务的高度可用性(一直都能用)。
3.2 高可用注意事项
- 避免单点:使用单个服务器,一旦该服务器意外宕机,将导致服务不可用
- 使用“集群”,一台服务器挂了,还有其他后备服务器能够顶上
比如现在redis的高可用的集群方案有: Redis单副本,Redis多副本(主从),Redis Sentinel(哨兵),Redis Cluster,Redis自研。