《大型网站技术架构》和《大型网站系统与java中间件》读书笔记

最近读到了两本很棒的书,一本是《大型网站技术架构》,另一本是《大型网站系统与java中间件》。这两本书都是阿里的工程师写的,主要介绍了一个网站如何从一个小型网站(一台pc充当应用程序服务器+数据库+文件服务器),随着访问的用户越来越多,存储的数据越来越多,一个小型网站如何应对,以及解决这些问题。这两本书大概讲的就是这个问题。

这篇文章主要是记录一下自己看这两本书的收获和读书笔记,用来备忘。

写到后面发现要写的东西可能会多,也比较散碎。所以,我打算以思维导图的方式去写,这样可能比较易于阅读和理解。

image.png

每个点,我会写上备注和解释。点击这个标签,就可以查看备注。


image.png

这是思维导图的链接(可能陆续还在补充和完善):http://naotu.baidu.com/file/ce3b7d3b65670969b254579d8bca1ad2?token=d3efba7757745e10


关于数据库的部分

(ps:这是刚开始写得第一部分,后面的都放到思维导图上面了)

关于数据库应对高并发的办法:
1.分库分表
2.读写分离,主从复制


1. 分库分表
分库,有两种方式,一个是水平拆分,一个是垂直拆分。 垂直拆分指的是将相同的业务逻辑放到一个数据库上面,水平拆分指的是将不同的业务逻辑放到一个数据库上面。

win+w 键 可以方便的画图.png

分表,是对一张表的切分。

这两个概念其实是比较好理解的,但是用多机做数据库需要应对一些新的问题:

  1. 如何实现跨库join
  2. 如果一张逻辑上的表,被切分成几个子表,那么如何
    2.1排序
    2.2函数处理,即使用max,min,sum,count等对多个数据源的值进行函数处理
    2.3求平均值
    2.4排序后分页(这个很interesting)

答:
Q1:对于跨库join

  1. 基本上有两个解决办法,方法一:在应用层进行多次查询,现在a库的a-1表上查询,然后将查询的结果放到b库的b-1表上再进行查询。
  2. 数据冗余的思想,如果这些信息是常用的信息,可以将join过的信息保存一下,这样后面的查询,就相当于是再一张表上操作。

Q2:排序
A:将多个来源的数据查询出来之后,在应用层进行多路归并排序。

Q3:函数处理,求最大值,最小值,求和,计数
A:分别对多个数据源的数据进行操作,然后再将各个数据源统计出来的数据进行一个汇总。

Q4:求平均值
将多个数据源的数据求和,并计数。然后汇总各个数据源的和,和计数。再用各个数据源的和除以计数的和,得到平均值。

Q5:排序后分页(这个有点意思)
这个的实际意义是,当我们在谷歌或百度搜索一个关键字的时候,返回的结果很根据权重排序,然后分页显示出来。这个查询的结果可能是来自很多数据库,那么如果将它们按照一定的顺序显示出来呢?
假如,我要看的是第10页的查询结果(假设每页显示五条),那么应该怎么办?

Q6:在分库分表的情况下,如何保持某一张表的id的自增长和连续?
搞一个独立的服务,在生成id。

A:
(假设有两个数据源,每页显示五条)

  1. 首先,在各个数据源上面进行各自的排序。
  2. 那么第一页应该是从每个数据源里面取五条数据,然后把这个10条数据进行归并,然后将前五条返回。
  3. 那么对于第二页,应该是将每隔数据源的前10(52=10)条数据拿出来,然后归并,取第五条到第十条记录。也就是说,如果要取第100页的数据,那么就要从各个数据源里面取1005=500条数据,然后进行归并,也就是说,越往后代价越大.

后面的写到思维导图上面了,这是思维导图的链接(可能陆续还在补充和完善):http://naotu.baidu.com/file/ce3b7d3b65670969b254579d8bca1ad2?token=d3efba7757745e10

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容