第2章 Google云计算原理与应用

Google云计算技术包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby、分布式结构化数据表Bigtable、分布式存储系统Megastore、分布式监控系统Dapper、海量数据的交互式分析工具Dremel，以及内存大数据分析系统PowerDrill等。

Google文件系统GFS

系统架构

GFS将整个系统的节点分为三类角色：Client、Master和Chunk Server。

client是GFS提供给应用程序的访问接口，它是一组专门接口，不遵循POSIX规范，以库文件的形式提供。应用程序直接调用这些库函数，并与该库链接在一起。

master是GFS的管理节点，在逻辑上只有一个，它保存系统的元数据，负责整个文件系统的管理，是GFS文件系统中的“大脑”。

chunk server负责具体的存储工作。数据以文件的形式存储在chunk server上。

GFS的特点：采用中心服务器模式、不缓存数据、在用户态下实现、只提供专用接口。

容错机制

1.Master容错 

Master上保存了GFS文件系统的三种元数据。

1）命名空间（Name Space），也就是整个文件系统的目录结构

2）Chunk 与文件名的映射表

3）Chunk副本的位置信息，每一个Chunk默认有三个副本

2.Chunk Server容错

GFS采用副本的方式实现Chunk Server的容错。每一个chunk有多个存储副本（默认为三个），分部存储在不同的chunk server上。

系统管理技术

1.大规模集群安装技术；2.故障检测技术；3.节点动态加入技术；4.节能技术