加速CDN content delivery network的缩写,内容分发网络
存储支持:
分布式文件系统 HDFS GFS
NoSQL 基本上处于分布式文件系统和SQL关系型数据库之间的系统都背归为NoSQL的范畴
highly scalable
graph 图数据库 可以看做是从有序的key-value数据库发展而来的一个分支,支持图结构的数据模型。
Hbase 借鉴Google Bigtable的一个java版本的开源实现
zmazon的dynamo结构
Cassandra就是一个开源的类似于Dynomo的实现
缓存系统:
redis和 memcache 对底层存储的读压力,需要注意的是缓存与数据存储中数据的一致性问题。
web应用页面渲染内容缓存。具体实现技术为ESI(Eden side include)
然后让写得压测数据走这个Mock的数据库中。存在一个问题,那就是我们必须区分应用中的测试请求和正常请求,可以采用的做法就是测试的请求从前端URL进来时为之增加一个特点别的参数,然后整个调用链中传递这个参数,然后再进行测试库很真实库的区分。
搜索系统:
爬虫问题:
倒排索引:
查询预处理:关键词的预处理
相关度计算:向量空间模型,概率模型
计算数据支撑
1、离线极限
mapreduce spark
在线计算:
Storm
分布式发布:灰度发布
应用监控系统
数据监视维度:cpu使用率,内存使用情况,交换分区使用情况,当前系统负载,IO,调用次数、成功率,响应时间、异常数量等维度的数据