《大型网站技术架构》读书摘要

一、概述

    1 大型网站架构演进

        1.1 大型网站系统的特点

                高并发,大流量

                好可用

                海量数据

                用户分布广泛,网络情况复杂

                安全环境恶劣

                需求快速变更,发布频繁

                渐进式发展


    2 大型网站架构模式

        2.1 网站架构模式

            分层: 如 应用层,服务层,数据层,各层合理规划层次边界和接口,禁止跨层调用。

            分割:将业务进行分割,拆分,每个业务进行独立的研发,部署,业务之间通过接口提供服务。

            分布式: 分布式应用和服务,分布式数据和存储,分布式计算,分布式配置,分布式锁,分布式事务等。

            集群:集群化部署,通过负载均衡统一对外提供服务。

            缓存: CDN技术,反向代理 (如Vainish),本地缓存,分布式缓存(如Redis)

            异步:异步解耦,提高系统可用性,加快网站响应速度,消除并发访问高峰。

            冗余: 冗余容量以防宕机带来的影响,数据备份冗余,防止数据丢失。

            自动化:自动化发布部署,自动化测试,自动化代码管理,自动化安全检测,自动化监控,自动化降级,自动化流控,自动化运维等。

            安全:安全防护,二次认证,加密存储,WEB防护 (WAF),风险控制等。


    3 大型网站核心架构要素

        3.1性能

            性能是网站的重要指标,浏览器端,可以通过设置浏览器缓存,使用页面压缩,合理布局页面,使用懒加载,减少cookie传输等手段改善性能。

            可以使用 CDN加速用户访问,可以在机房入口部署反向代理服务器,缓存热点文件,加速网站响应,同时减轻后端应用服务器的负载压力。

            应用服务器端,通过服务器本地缓存和分布式缓存,将热点数据存放在缓存,提高数据获取速度,加快请求处理过程,减轻数据库负载压力。

            通过使用异步操作,使用消息队列等方式,加快用户侧响应返回。

            代码层面,使用多线程,改善内存管理等手段优化性能。

            操作系统和中间件层面,可以优化内核参数,优化中间件参数,提升性能。

            数据库层面,通过合理的使用索引, SQL优化等手段提升数据库性能。

        3.2 可用性

            通过技术手段提升可用性至3个9或4个9。

            衡量一个系统架构设计是否满足高可用的目标,就是假设系统中任何一台服务器或多台服务器宕机时,以及出现各种不可预期的问题时,系统整体是否依然可用。

        3.3 伸缩性

            衡量架构伸缩性的主要标准就是 是否可以用多台服务器构建集群,是否容易向集群中添加新的服务器。加入新的服务器后是否可以提供和原来的服务器无差别的服务。集群中可容纳的总的服务器数量是否有限制。

        3.4  扩展性

            衡量网站架构扩展性的好坏的主要标准就是在网站增加新的业务产品时,是否可以实现对现有产品透明无影响,不需要任何改动或者很少改动既有业务功能就可以上线新产品。不同产品之间是否很少耦合,一个产品改动对其他产品无影响,其他产品和功能不需要受牵连进行改动。

        3.5  安全性

            衡量网站安全架构的标准就是针对现存和潜在的各种攻击与窃密手段,是否有可靠的应对策略。

二、架构

    4. 高性能架构

        4.1 网站性能测试

            性能测试指标: 响应时间,并发数,吞吐量,性能计数器等。

            测试时通过程序模拟提交请求,记录发出请求到收到响应的时间差来计算系统的响应时间。

            响应时间:是系统最重要的性能指标。

            并发数:系统能够同时处理请求的数目,这个数据反映了系统的负载特性。

            测试时通过多线程模拟并发用户的访问来测试系统的并发处理能力,为了模拟用户应为,测试程序不是启动多线程后不停的发送请求,而是在两次请求之间加上一个随机等待时间,这个时间被称为 思考时间。

            吞吐量: 指单位时间内系统处理的请求数量,体现系统的整体处理能力。TPS (每秒事务数)是吞吐量的一个常用衡量指标。此外还有HPS(每秒HTTP请求数), QPS(每秒查询数)。

            网站性能优化的目的,除了改善用户体验的响应时间外,还要尽量提高系统的吞吐量,最大限度的利用服务器资源。

            性能计数器:它是描述服务器或操作系统性能的一些数据指标。比如 系统负载,对象与线程数,内存使用,CPU使用,磁盘与网络 IO等指标。

            性能测试的方法包括:性能测试,负载测试,压力测试,稳定性测试。

            性能测试:以系统设计初期规划的性能指标为预期目标,对系统不断施加压力,验证系统在资源可接受范围内,是否能达到性能预期。

            负载测试:对系统不断地增加并发请求以增加系统压力,直到系统的某项或多项性能指标达到安全临界值,如某种资源已经呈饱和状态,这时继续对系统施加压力,系统的处理能力不但不能提高,反而会下降。

            压力测试:超过安全负载的情况下,对系统继续施加压力,直到系统崩溃或不能再处理任何请求,以此获得系统最大压力承受能力。

            稳定性测试:被测试系统在特定硬件、软件、网络环境条件下,给系统加载一定业务压力,使系统运行一段较长时间,以此检测系统是否稳定。在不同生产环境、不同时间点的请求压力是不均匀的,呈波浪特性,因此为了更好地模拟生产环境,稳定性测试也应不均匀地对系统施加压力。

        4.2  Web前端性能优化

            4.2.1 浏览器访问优化

                1. 减少HTTP请求

                Http请求比较耗费资源,服务器端需要启动独立线程去处理,减少 HTTP请求的数目可以有效提高访问性能。主要手段有:合并 CSS、合并 js、合并图片请求。将浏览器一次访问需要的js、css合并成一个文件,减少请求次数。

                2.  使用浏览器缓存

                不常变化的静态资源,可以通过设置 HTTP头中的 Cache-control和 Expires的属性,可设定浏览器缓存。静态资源文件变化后,需要客户端生效,可以通过改变文件名实现,或者添加版本号,而不是直接更新 js的内容,通过更新 html文件中对文件的引用来实现实时更新。这种情况特别适用于已经设置了浏览器缓存,又需要尽快更新静态资源的场景。

                3. 启用压缩

                在服务器端对文件进行压缩,在浏览器端对文件解压缩,可以有效减少通信数据量。文本的压缩效率可以达到80%以上,因此html, css, JavaScript文件启用 gzip压缩可以达到很好的效果。启用压缩会占用服务器端和浏览器端的少量资源。

                4.  CSS放页面最上面, JavaScript放页面最下面

                浏览器会在下载完全部 CSS后,才对整个页面进行渲染,因此最好的做法是将 CSS放在页面最上面,让浏览器尽快下载 CSS。 JavaScript则相反,浏览器在加载 JavaScript后立即执行,有可能会阻塞整个页面,造成页面显示缓慢,因此JavaScript最好是放在页面最下面。

                5. 减少 cookie传输

                Cookie包含在每次请求和响应中,太大的 cookie会严重影响数据传输,所以尽量减少 cookie中传输的数据量。另外一方面,对于静态资源的访问,发送cookie没有意义,可以考虑使用独立的域名访问,避免请求静态资源时发送 cookie,减少 cookie传输的次数。

            4.2.2  CDN加速

                使用 CDN可大大减少源站的网络带宽压力,极大的改善网页的打开速度。

            4.2.3  反向代理

                在源站入口设置反向代理,为反向代理设置缓存功能,可加快用户侧的响应速度。例如使用 Varnish缓存就可以将请求缓存,并设置合理的缓存失效时间,可减少后端应用和数据库的压力 (缓存使用需谨慎,不合理的缓存时效会影响用户体验,缓存如果需要更新需及时通知,以免影响业务)

        4.3  应用服务器性能优化

            4.3.1  分布式缓存

            4.3.2  异步操作

            4.3.3  使用集群

            4.3.4  代码优化

                JVM垃圾回收:

                JVM 内存主要可划分为堆( heap )和堆栈( stack )。堆栈用于存储线程上下文信息,如方法参数、局部变量等。堆则是存储对象的内存空间,对象的创建和释放、垃圾回收就在这里进行。通过对对象生命周期的观察,发现大部分对象的生命周期都极其短暂,这部分对象产生的垃圾应该被更快地收集,以释放内存,这就是 JVM 分代垃圾回收 。

                在 JVM 分代垃圾回收机制中,将应用程序可用的堆空间分为年轻代( Young Generation )和年老代( Old Generation ),又将年轻代分为 Eden 区( Eden Space ) From 区和 To 区,新建对象总是在 Eden 区中被创建,当 Eden 区空间已满,就触发一次 Young GC ( Garbage Colection ,垃圾回收),将还被使用的对象复制到 From 区,这样整个 Eden 区都是未被使用的空间,可供继续创建对象,当 Eden 区再次用完,再触发一次 Young GC ,将 Eden 区和 From 区还在被使用的对象复制到 To 区,下一次 Young GC 则是将 Eden 区和 To 区还被使用的对象复制到 From 区。因此,经过多次 Young 某些对象会在 From 区和 To 区多次复制,果超过某个阈值对象还未被释放,则将该对象复制到 Old eneration 。如果 Old Generation 空间也已用完,那么就会触发 Full GC ,即所谓的全量回仪,全量回收会对系统性能产生较大影响,因此应根据系统业务特点和对象生命周期,合理设置Young Generation )和 Old Generation 的大小,尽量减少full GC。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容