构建大型网站的其他要素

加速CDN  content delivery network的缩写,内容分发网络

存储支持:

分布式文件系统    HDFS GFS

NoSQL 基本上处于分布式文件系统和SQL关系型数据库之间的系统都背归为NoSQL的范畴

highly scalable

graph   图数据库 可以看做是从有序的key-value数据库发展而来的一个分支,支持图结构的数据模型。

Hbase 借鉴Google Bigtable的一个java版本的开源实现

zmazon的dynamo结构


Cassandra就是一个开源的类似于Dynomo的实现


缓存系统:

redis和 memcache  对底层存储的读压力,需要注意的是缓存与数据存储中数据的一致性问题。

web应用页面渲染内容缓存。具体实现技术为ESI(Eden side include)


然后让写得压测数据走这个Mock的数据库中。存在一个问题,那就是我们必须区分应用中的测试请求和正常请求,可以采用的做法就是测试的请求从前端URL进来时为之增加一个特点别的参数,然后整个调用链中传递这个参数,然后再进行测试库很真实库的区分。

搜索系统:

爬虫问题:

倒排索引:

查询预处理:关键词的预处理

相关度计算:向量空间模型,概率模型

计算数据支撑

1、离线极限

mapreduce spark


在线计算:

Storm

分布式发布:灰度发布

应用监控系统

数据监视维度:cpu使用率,内存使用情况,交换分区使用情况,当前系统负载,IO,调用次数、成功率,响应时间、异常数量等维度的数据

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容