需求分析

• 背景

  • 现网采用Greenplum作为数据仓库平台，Oracle作为业务核心数据库

  • 目前现网系统存在可扩展性差，性能瓶颈等问题。考虑使用CDH大数据平台来解决现网问题。

• 整体需求

  • 搭建CDH大数据平台，并进行故障诊断测试

  • 对现网Greenplum数据库进行T+1数据同步

  • 对现网Oracle数据库进行准实时数据同步

  • 在CDH平台进行业务功能测试

项目进度规划

• 总结：所有任务按计划完成

整体系统架构

CDH安装之集群规划

• 规划了4台机器

CDH安装之组件清单

CDH安装之集群监控

• 通过CM监控集群，确保所有服务处于最佳运行状态

Case1：HDFS数据节点故障模拟

• Step1：确定所有数据节点正常

• Step2：模拟故障，停掉testcdh10的datanode

Case1-HDFS数据节点故障模拟（续）

• Step3：故障发生后，HDFS读写操作依旧正常
• 结论：单节点的datanode故障不影响集群正常使用