一、概述
1 大型网站架构演进
1.1 大型网站系统的特点
高并发,大流量
好可用
海量数据
用户分布广泛,网络情况复杂
安全环境恶劣
需求快速变更,发布频繁
渐进式发展
2 大型网站架构模式
2.1 网站架构模式
分层: 如 应用层,服务层,数据层,各层合理规划层次边界和接口,禁止跨层调用。
分割:将业务进行分割,拆分,每个业务进行独立的研发,部署,业务之间通过接口提供服务。
分布式: 分布式应用和服务,分布式数据和存储,分布式计算,分布式配置,分布式锁,分布式事务等。
集群:集群化部署,通过负载均衡统一对外提供服务。
缓存: CDN技术,反向代理 (如Vainish),本地缓存,分布式缓存(如Redis)
异步:异步解耦,提高系统可用性,加快网站响应速度,消除并发访问高峰。
冗余: 冗余容量以防宕机带来的影响,数据备份冗余,防止数据丢失。
自动化:自动化发布部署,自动化测试,自动化代码管理,自动化安全检测,自动化监控,自动化降级,自动化流控,自动化运维等。
安全:安全防护,二次认证,加密存储,WEB防护 (WAF),风险控制等。
3 大型网站核心架构要素
3.1性能
性能是网站的重要指标,浏览器端,可以通过设置浏览器缓存,使用页面压缩,合理布局页面,使用懒加载,减少cookie传输等手段改善性能。
可以使用 CDN加速用户访问,可以在机房入口部署反向代理服务器,缓存热点文件,加速网站响应,同时减轻后端应用服务器的负载压力。
应用服务器端,通过服务器本地缓存和分布式缓存,将热点数据存放在缓存,提高数据获取速度,加快请求处理过程,减轻数据库负载压力。
通过使用异步操作,使用消息队列等方式,加快用户侧响应返回。
代码层面,使用多线程,改善内存管理等手段优化性能。
操作系统和中间件层面,可以优化内核参数,优化中间件参数,提升性能。
数据库层面,通过合理的使用索引, SQL优化等手段提升数据库性能。
3.2 可用性
通过技术手段提升可用性至3个9或4个9。
衡量一个系统架构设计是否满足高可用的目标,就是假设系统中任何一台服务器或多台服务器宕机时,以及出现各种不可预期的问题时,系统整体是否依然可用。
3.3 伸缩性
衡量架构伸缩性的主要标准就是 是否可以用多台服务器构建集群,是否容易向集群中添加新的服务器。加入新的服务器后是否可以提供和原来的服务器无差别的服务。集群中可容纳的总的服务器数量是否有限制。
3.4 扩展性
衡量网站架构扩展性的好坏的主要标准就是在网站增加新的业务产品时,是否可以实现对现有产品透明无影响,不需要任何改动或者很少改动既有业务功能就可以上线新产品。不同产品之间是否很少耦合,一个产品改动对其他产品无影响,其他产品和功能不需要受牵连进行改动。
3.5 安全性
衡量网站安全架构的标准就是针对现存和潜在的各种攻击与窃密手段,是否有可靠的应对策略。
二、架构
4. 高性能架构
4.1 网站性能测试
性能测试指标: 响应时间,并发数,吞吐量,性能计数器等。
测试时通过程序模拟提交请求,记录发出请求到收到响应的时间差来计算系统的响应时间。
响应时间:是系统最重要的性能指标。
并发数:系统能够同时处理请求的数目,这个数据反映了系统的负载特性。
测试时通过多线程模拟并发用户的访问来测试系统的并发处理能力,为了模拟用户应为,测试程序不是启动多线程后不停的发送请求,而是在两次请求之间加上一个随机等待时间,这个时间被称为 思考时间。
吞吐量: 指单位时间内系统处理的请求数量,体现系统的整体处理能力。TPS (每秒事务数)是吞吐量的一个常用衡量指标。此外还有HPS(每秒HTTP请求数), QPS(每秒查询数)。
网站性能优化的目的,除了改善用户体验的响应时间外,还要尽量提高系统的吞吐量,最大限度的利用服务器资源。
性能计数器:它是描述服务器或操作系统性能的一些数据指标。比如 系统负载,对象与线程数,内存使用,CPU使用,磁盘与网络 IO等指标。
性能测试的方法包括:性能测试,负载测试,压力测试,稳定性测试。
性能测试:以系统设计初期规划的性能指标为预期目标,对系统不断施加压力,验证系统在资源可接受范围内,是否能达到性能预期。
负载测试:对系统不断地增加并发请求以增加系统压力,直到系统的某项或多项性能指标达到安全临界值,如某种资源已经呈饱和状态,这时继续对系统施加压力,系统的处理能力不但不能提高,反而会下降。
压力测试:超过安全负载的情况下,对系统继续施加压力,直到系统崩溃或不能再处理任何请求,以此获得系统最大压力承受能力。
稳定性测试:被测试系统在特定硬件、软件、网络环境条件下,给系统加载一定业务压力,使系统运行一段较长时间,以此检测系统是否稳定。在不同生产环境、不同时间点的请求压力是不均匀的,呈波浪特性,因此为了更好地模拟生产环境,稳定性测试也应不均匀地对系统施加压力。
4.2 Web前端性能优化
4.2.1 浏览器访问优化
1. 减少HTTP请求
Http请求比较耗费资源,服务器端需要启动独立线程去处理,减少 HTTP请求的数目可以有效提高访问性能。主要手段有:合并 CSS、合并 js、合并图片请求。将浏览器一次访问需要的js、css合并成一个文件,减少请求次数。
2. 使用浏览器缓存
不常变化的静态资源,可以通过设置 HTTP头中的 Cache-control和 Expires的属性,可设定浏览器缓存。静态资源文件变化后,需要客户端生效,可以通过改变文件名实现,或者添加版本号,而不是直接更新 js的内容,通过更新 html文件中对文件的引用来实现实时更新。这种情况特别适用于已经设置了浏览器缓存,又需要尽快更新静态资源的场景。
3. 启用压缩
在服务器端对文件进行压缩,在浏览器端对文件解压缩,可以有效减少通信数据量。文本的压缩效率可以达到80%以上,因此html, css, JavaScript文件启用 gzip压缩可以达到很好的效果。启用压缩会占用服务器端和浏览器端的少量资源。
4. CSS放页面最上面, JavaScript放页面最下面
浏览器会在下载完全部 CSS后,才对整个页面进行渲染,因此最好的做法是将 CSS放在页面最上面,让浏览器尽快下载 CSS。 JavaScript则相反,浏览器在加载 JavaScript后立即执行,有可能会阻塞整个页面,造成页面显示缓慢,因此JavaScript最好是放在页面最下面。
5. 减少 cookie传输
Cookie包含在每次请求和响应中,太大的 cookie会严重影响数据传输,所以尽量减少 cookie中传输的数据量。另外一方面,对于静态资源的访问,发送cookie没有意义,可以考虑使用独立的域名访问,避免请求静态资源时发送 cookie,减少 cookie传输的次数。
4.2.2 CDN加速
使用 CDN可大大减少源站的网络带宽压力,极大的改善网页的打开速度。
4.2.3 反向代理
在源站入口设置反向代理,为反向代理设置缓存功能,可加快用户侧的响应速度。例如使用 Varnish缓存就可以将请求缓存,并设置合理的缓存失效时间,可减少后端应用和数据库的压力 (缓存使用需谨慎,不合理的缓存时效会影响用户体验,缓存如果需要更新需及时通知,以免影响业务)
4.3 应用服务器性能优化
4.3.1 分布式缓存
4.3.2 异步操作
4.3.3 使用集群
4.3.4 代码优化
JVM垃圾回收:
JVM 内存主要可划分为堆( heap )和堆栈( stack )。堆栈用于存储线程上下文信息,如方法参数、局部变量等。堆则是存储对象的内存空间,对象的创建和释放、垃圾回收就在这里进行。通过对对象生命周期的观察,发现大部分对象的生命周期都极其短暂,这部分对象产生的垃圾应该被更快地收集,以释放内存,这就是 JVM 分代垃圾回收 。
在 JVM 分代垃圾回收机制中,将应用程序可用的堆空间分为年轻代( Young Generation )和年老代( Old Generation ),又将年轻代分为 Eden 区( Eden Space ) From 区和 To 区,新建对象总是在 Eden 区中被创建,当 Eden 区空间已满,就触发一次 Young GC ( Garbage Colection ,垃圾回收),将还被使用的对象复制到 From 区,这样整个 Eden 区都是未被使用的空间,可供继续创建对象,当 Eden 区再次用完,再触发一次 Young GC ,将 Eden 区和 From 区还在被使用的对象复制到 To 区,下一次 Young GC 则是将 Eden 区和 To 区还被使用的对象复制到 From 区。因此,经过多次 Young 某些对象会在 From 区和 To 区多次复制,果超过某个阈值对象还未被释放,则将该对象复制到 Old eneration 。如果 Old Generation 空间也已用完,那么就会触发 Full GC ,即所谓的全量回仪,全量回收会对系统性能产生较大影响,因此应根据系统业务特点和对象生命周期,合理设置Young Generation )和 Old Generation 的大小,尽量减少full GC。