Hadoop完全分布式环境搭建

暂无完工，请不要参考

分析：

  1. 准备工作
  2. 安装Hadoop
  3. 配置集群
  4. 群起并测试集群

准备工作

  1. 准备3台虚拟机

准备3台客户机，分别关闭防火墙，配置静态IP，配置不同的主机名，开启时间自动网络同步。
我这里设置3台客户机的主机名分别为hadoop1、hadoop2和Hadoop3。分别创建用户hadoop。
配置主机名和IP的映射。

vim /etc/hosts

添加如下内容，分别是三台虚拟机的IP和主机名。

192.168.6.100 hadoop1
192.168.6.101 hadoop2
192.168.6.102 hadoop3
  1. 配置SSH免密登录

SSH无密登录配置

  1. 编写集群分发脚本xsync

集群分发脚本xsync

  1. 编写命令群发脚本

集群分发脚本xsync

安装Hadoop

  1. 安装JDK

  2. 安装Hadoop

    1. 把Hadoop包上传到安装目录，我们这里选择/usr/local作为安装目录。
    2. 解压安装文件到此目录
    3. 将Hadoop添加到环境变量
    export HADOOP_HOME=/usr/local/hadoop-2.10.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
    1. 测试是否安装成功
    hadoop version

  3. Hadoop目录结构
    1.查看Hadoop目录结构

    [hadoop@hadoop1 hadoop-2.10.0]$ ll
总用量 128
drwxr-xr-x. 2 12334 systemd-journal    194 10月 23 2019 bin
drwxr-xr-x. 3 12334 systemd-journal     20 10月 23 2019 etc
drwxr-xr-x. 2 12334 systemd-journal    106 10月 23 2019 include
drwxr-xr-x. 3 12334 systemd-journal     20 10月 23 2019 lib
drwxr-xr-x. 2 12334 systemd-journal    239 10月 23 2019 libexec
-rw-r--r--. 1 12334 systemd-journal 106210 10月 23 2019 LICENSE.txt
-rw-r--r--. 1 12334 systemd-journal  15841 10月 23 2019 NOTICE.txt
-rw-r--r--. 1 12334 systemd-journal   1366 10月 23 2019 README.txt
drwxr-xr-x. 3 12334 systemd-journal   4096 10月 23 2019 sbin
drwxr-xr-x. 4 12334 systemd-journal     31 10月 23 2019 share

    2、重要目录

    （1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

    （2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

    （3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

    （4）sbin目录：存放启动或停止Hadoop相关服务的脚本

    （5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

集群配置

  1. 集群部署规划
  hadoop1 hadoop2 hadoop3
HDFS DataNode NameNode、DataNode SecondaryNameNode、DataNode
YARN NodeManager、ResourceManager NodeManager NodeManager
  1. 这里主要考虑负债均衡，分布启动这些进程。
  2. 因为后面群起集群的时候，只能在配置了ResourceManager节点的主机才能群起成功ResourceManager，我的SHH免密登录和群起脚本、群发脚本等都放在hadoop1主机，所以把ResourceManager进程也放在hadoop1主机。

  1. 配置集群

    hadoop的默认配置文件在/usr/local/hadoop-2.10.0/etc/hadoop
    目录下。

    1. 核心配置文件

    配置core-site.xml

    vim core-site.xml

    在该文件中编写如下配置

    <!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop2:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/data</value>
</property>
    1. HDFS配置文件

    配置hdfs-site.xml

    vim hdfs-site.xml

    在该文件中编写如下配置

    <!-- 指定Hadoop副本备份最大数量 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop3:50090</value>
</property>
    1. YARN配置文件

    配置yarn-site.xml

    vim yarn-site.xml

    在该文件中增加如下配置

    <!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
</property>
    1. MapReduce配置文件

    配置mapred-site.xml

    cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

    在该文件中增加如下配置

    <!-- 指定mr运行在yarn上 -->
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3．在集群上分发配置好的Hadoop配置文件

xsync.sh /usr/local/hadoop-2.10.0

4．查看文件分发情况

 cat /usr/local/hadoop-2.10.0/etc/hadoop/core-site.xml

群起集群

  1. 配置slaves
vim /usr/local/hadoop-2.10.0/etc/hadoop/slaves

在该文件中增加如下内容：

hadoop1
hadoop2
hadoop3

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

  1. 启动集群

    1. 如果集群是第一次启动，需要格式化NameNode
    hdfs namenode -format
    1. 启动HDFS
    start-dfs.sh
    1. 启动YARN
    start-yarn.sh

    注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

    1. web端查看SecondaryNameNode

    （a）浏览器中输入：http://hadoop104:50090/status.html

    （b）查看SecondaryNameNode信息，如图2-41所示。

  2. 集群基本测试

    1. 上传文件到集群

    上传小文件

    hadoop fs -mkdir -p /user/atguigu/input
hadoop fs -put wcinput/wc.input /user/atguigu/input

    上传大文件

    bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz  /user/atguigu/input
    1. 上传文件后查看文件存放在什么位置

    （a）查看HDFS文件存储路径

    pwd

    （b）查看HDFS在磁盘存储文件内容

    cat blk_1073741825

  3. 拼接

-rw-rw-r--. 1 atguigu atguigu 134217728 5月  23 16:01 blk_1073741836
-rw-rw-r--. 1 atguigu atguigu   1048583 5月  23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 atguigu atguigu  63439959 5月  23 16:01 blk_1073741837
-rw-rw-r--. 1 atguigu atguigu    495635 5月  23 16:01 blk_1073741837_1013.meta
[atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.file
[atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.file
[atguigu@hadoop102 subdir0]$ tar -zxvf tmp.file
  1. 下载
hadoop fs -get /user/atguigu/input/hadoop-2.7.2.tar.gz ./

集群启动/停止方式总结

  1. 各个服务组件逐一启动/停止

    1. 分别启动/停止HDFS组件
    hadoop-daemon.sh  start / stop  namenode / datanode / secondarynamenode
    1. 启动/停止YARN
    yarn-daemon.sh  start / stop  resourcemanager / nodemanager

  2. 各个模块分开启动/停止（配置ssh是前提）常用

    1. 整体启动/停止HDFS
    start-dfs.sh   /  stop-dfs.sh
    1. 整体启动/停止YARN
    start-yarn.sh  /  stop-yarn.sh
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 194,242评论 5赞 459
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 81,769评论 2赞 371
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 141,484评论 0赞 319
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 52,133评论 1赞 263
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 61,007评论 4赞 355
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 46,080评论 1赞 272
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 36,496评论 3赞 381
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 35,190评论 0赞 253
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 39,464评论 1赞 290
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2赞 309
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1赞 326
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,205评论 3赞 312
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 37,567评论 3赞 298
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0赞 17
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1赞 250
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2赞 341
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2赞 335