内容参考链接：慕课网--Hadoop大数据平台架构基础篇
Google大数据技术（3大）：MapReduce、BigTable、GFS
革命性的变化

1. 成本降低，能用Pc 机，就不用大型机和高端存储。
2. 软件容错硬件故障视为常态，通过软件保证可靠性。
3. 简化并行分布式计算，无须控制节点同步和数据交换。

模仿Google大数据技术的开源实现：Hadoop

Hadoop是什么：分布式存储+分布式计算平台

包含两个核心组成：
(1)HDFS:分布式文件系统，存储海量的数据
(2)MapReduce****：并行处理框架，实现任务分解和调度

Hadoop可以用来做什么：搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。

Hadoop优势：

1. 高扩展
2. 低成本
3. 成熟的生态圈
   Hadoop生态系统：
   1、Hive:sql->mapreduce
   2、Hbase:存储结构化数据的分布式数据库
   与传统的关系型数据库不同，Hbase放弃事务特性，追求更高的扩展；
   与hdfs不同：hbase提供数据的随机读写和实时访问，实现对表数据的读写功能；
   3、Zookeeper：监控Hadoop集群中每个节点的状态

Hadoop安装：
(1) 准备liunx环境
(2) 安装JDK
(3) 配置hadoop

HDFS的体系架构：
HDFS基本概念：

• 块
  HDFS的文件被分成块进行存储；块的默认大小为64MB；块是文件存储处理的逻辑单元
• NameNode
  是管理节点，存放文件元数据
  （1） 文件与数据块的映射表
  （2） 数据块与数据节点的映射表
• DataNode
  是工作节点，存放数据块

HDFS体系结构

HDFS中数据管理与容错：

（1） 数据块副本，每个数据块3个副本，分布在两个机架内的三个节点

数据块副本

心跳检测

二级NameNode

读取文件

写入文件

HDFS的特点：

1、 数据冗余，硬件容错
2、 流式的数据访问，写一次，读多次
3、 存储大文件

HDFS
适合数据批量读取吞吐量高；
不适合交互式应用，比如数据库，低延迟很难满足

适合一次写入多次读取，顺序读写
不支持多用户并发写相同文件

命令：

hadoop fs –ls /

把当前目录下HDFS文件夹打印出来

hadoop fs –put tt.txt input/

把本地的一个文件tt.txt放到input目录下

hadoop fs –mkdir input

建立input目录

hadoop fs –get input/tt.txt tt1.txt

从hdfs下载文件到本地

hadoop dfsadmin –report

查看文件系统内所有信息

MapReduce原理：
分而治之，一个大任务分成多个子任务（Map）,并行执行后，合并结果（reduce）

MR原理

MapReduce的运行流程：

体系结构

基本概念

• job &task
  一个job会被拆分成多个task，task分为MapTask和ReduceTask
• JobTracker
  （1） 作业调度
  （2） 分配任务，监控任务执行进度
  （3） 监控taskTracker的状态
• TaskTracker
  （1） 执行任务
  （2） 向JobTracker汇报任务状态

MapReduce作业执行过程：

作业执行过程

MapReduce的容错机制：
（1） 重复执行
重复执行4次后，若还是失败，则放弃
（2） 推测执行
Map端执行完成后，reduce端才会开始，比如某个taskTracker算的特别慢，会找一个跟这个taskTracker一样任务的去执行，保证整个任务不会因为某个tasktracker的故障而执行效率低。

Mapreduce的应用案例：

（1）应用案例一：wordcount单词计数
计算文件中出现每个单词的频数
输入结果按照字母顺序进行排序
（2）应用案例二：利用MR进行排