Hadoop入门

数据仓库与数据挖掘

1. 什么是Hadoop
   1. 分布式
   2. 海量数据存储计算

作者: doug cutting

google 三篇论文 --Hadoop 思想之源

MAp-Reduce --> MR
GFS --> HDFS
BigTable --> HBase

缺点

优点

3. hadoop组成
   1. MapReaduce(计算)
   2. Yarm(资源调度)
   3. HDFS(数据存储)

   4. Common(辅助工具)

      
      
      hadoop组成

5. 重要目录
   （1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
   （2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
   （3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
   （4）sbin目录：存放启动或停止Hadoop相关服务的脚本
   （5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

一.架构详解

1. HDFS
   1. NameNode
   2. DataNode
   3. Secondary NameNode

image.png

2. YARN
   1.RescorceManager(RM)
   2.ApplicationMaster(AM)
   3.NodeManager(NM)
   4.Container

   
   
   image.png

3.MapReaduce

将计算过程分为两个阶段：Map和Reduce
1.Map阶段并行处理输入数据

2.Reduce阶段对Map结果进行汇总

image.png

二.Hadoop运行模式

• 本地运行模式
• 伪分布式运行模式
• 完全分布式运行模式（开发）

三.推荐系统框架

image.png

公司部门

QQ图片20181225170603.png

本地运行模式

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount winput output