好玩的大数据之8：Hadoop安装（hadoop-3.2.1，伪分布式部署方式）

一、简介

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算

二、下载

    下载地址  https://hadoop.apache.org/releases.html

选择版本

    选择下面tsinghua的下载链接会快一些

下载文件

下载后得到hadoop-3.2.1.tar.gz，把它放入soft共享文件夹

三、安装

切换到ubuntu

    检查一下/mylab/soft目录是否存在，以及是否属于hadoop用户和hadoop组，要是不存在的话，先按如下步骤创建之

        sudo mkdir -p /mylab/soft

        sudo chown -R hadoop:hadoop /mylab

    解压缩hadoop压缩包（假设hadoop-3.2.1.tar.gz放于~/soft，~代表用户的主目录，这里指/home/hadoop）

        cd ~/soft

        tar zxvf hadoop-3.2.1.tar.gz -C /mylab/soft

        ls /mylab/soft

        到目前为止，应该有了以下内容

到目前位置安装目录的内容


四、配置

    1.配置前准备

            本章只讲述伪分布式方式的安装，所以只需要一台master主机

            修改主机名

                        由于在安装时给主机起了一个hadoop的名字，现在需要把它改成master

                                sudo vi /etc/hostname

                        将文件的内容改为master，保存即可

                                sudo reboot

                        重启动后，打开terminal，提示符变成了hadoop@master

改主机名为master

            修改DNS

为了方便将来完全分布式部署的方便，我把官方文档中伪分布式配置中建议用localhost的地方，都将填为master，相应的，在DNS中将master配置为10.1.13.73（我的虚拟机IP地址）

                  查看本机ip

                        ifconfig

                              sudo vi /etc/hosts

                        加入一行

                                10.1.13.73 master

                        然后测试一下修改结果

                                ping master

ping master结果

    2.修改环境变量

            修改~/.bashrc

                    vi ~/.bashrc

                            #hadoop-3.2.1

                            export HADOOP_HOME=$MYLAB_BASE_HOME/hadoop-3.2.1

                            export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

                    source ~/.bashrc

                    env

            检查一下环境变量是否正确

            到目前为止，~/.bashrc中加入的内容如下

到目前位置的环境变量配置

            先小试一下，看看hadoop和jdk安装有没有问题

                    hadoop version

            应该能够看到如下信息

    3.修改hadoop配置文件

          a) 创建工作目录

                         配置过程中，会用到一些目录信息，这里提前创建一下

                                rm -r $HADOOP_HOME/working/*

                                mkdir -p $HADOOP_HOME/working/namenode

                                mkdir -p $HADOOP_HOME/working/datanode

                                mkdir -p $HADOOP_HOME/working/logs

                                mkdir -p $HADOOP_HOME/working/tmp

                                 ll $HADOOP_HOME/working

working目录下的子目录

          b) core-site.xml

                这里好像只能用绝对路径，不能用系统变量名

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:///mylab/soft/hadoop-3.2.1/working/tmp</value>

</property>

<property>

        <name>hadoop.proxyuser.hadoop.hosts</name>

        <value>*</value>

    </property>

    <property>

        <name>hadoop.proxyuser.hadoop.groups</name>

        <value>*</value>

    </property>

<!-- “*”表示可通过超级代理，“hadoop”操作hadoop的linux用户、用户组和主机 在hive/beeline启动命令中的用户名就用hadoop-->

</configuration>

          c) mapred-site.xml


<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

    <property>

        <name>mapreduce.application.classpath</name>

        <value>/mylab/soft/hadoop-3.2.1/share/hadoop/mapreduce/*,/mylab/soft/hadoop-3.2.1/share/hadoop/mapreduce/lib/*</value>

    </property>

  <property>

                <name>mapreduce.jobhistory.webapp.address</name>

                <value>master:19888</value>

                <description>MapReduce jobhistory服务器的用户界面地址</description>

        </property>

</configuration>

          d) yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hahoop.mapred.ShuffleHandler</value>

</property>

<property>

    <description>Classpath for typical applications.</description>

    <name>yarn.application.classpath</name>

    <value>

        /mylab/soft/hadoop-3.2.1/etc/hadoop:/mylab/soft/hadoop-3.2.1/share/hadoop/common/lib/*:/mylab/soft/hadoop-3.2.1/share/hadoop/common/*:/mylab/soft/hadoop-3.2.1/share/hadoop/hdfs:/mylab/soft/hadoop-3.2.1/share/hadoop/hdfs/lib/*:/mylab/soft/hadoop-3.2.1/share/hadoop/hdfs/*:/mylab/soft/hadoop-3.2.1/share/hadoop/mapreduce/lib/*:/mylab/soft/hadoop-3.2.1/share/hadoop/mapreduce/*:/mylab/soft/hadoop-3.2.1/share/hadoop/yarn:/mylab/soft/hadoop-3.2.1/share/hadoop/yarn/lib/*:/mylab/soft/hadoop-3.2.1/share/hadoop/yarn/*

    </value>

  </property>

<property>

    <name>yarn.nodemanager.resource.memory-mb</name>

    <value>4096</value>

</property>

<property>

  <name>yarn.scheduler.minimum-allocation-mb</name>

  <value>2048</value>

</property>

<property>

    <name>yarn.nodemanager.vmem-pmem-ratio</name>

    <value>2.1</value>

</property>

    <property> 

        <name>yarn.resourcemanager.scheduler.address</name> 

        <value>master:8030</value> 

    </property> 

    <property> 

        <name>yarn.resourcemanager.resource-tracker.address</name> 

        <value>master:8031</value> 

    </property> 

    <property> 

        <name>yarn.resourcemanager.address</name> 

        <value>master:8032</value> 

    </property> 

    <property> 

        <name>yarn.resourcemanager.admin.address</name> 

        <value>master:8033</value> 

    </property> 

    <property> 

        <name>yarn.resourcemanager.webapp.address</name> 

        <value>master:8088</value> 

    </property>

<property>

  <name>yarn.log-aggregation-enable</name>

  <value>true</value>

</property>

<property>

  <name>yarn.log-aggregation.retain-seconds</name>

  <value>2592000</value>

</property>

<property>

  <name>yarn.log.server.url</name>

  <value>http://master:19888/jobhistory/logs</value>

</property>

<property>

  <name>yarn.nodemanager.remote-app-log-dir</name>

  <value>hdfs://master:9000/hadoop/yarn-logs</value>

</property>


<!-- <property>

  <name>yarn.nodemanager.remote-app-log-dir</name>

  <value>hdfs://mycluster/hadoop/yarn-logs</value>

</property>

-->

</configuration>

            注：yarn.application.classpath可以用hadoop classpath命令生成

          e) hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value> 

</property>

<property>   

<name>dfs.namenode.name.dir</name>   

<value>file:///mylab/soft/hadoop-3.2.1/working/namenode</value>   

</property>   

<property>   

<name>dfs.datanode.data.dir</name>

<value>file:///mylab/soft/hadoop-3.2.1/working/datanode</value> 

</property>

</configuration>

          f) workers

                    master

      4.格式化namenode

              hdfs namenode -format

              ls $HADOOP_HOME/working/namenode

五、验证

    1.查看hadoop版本号

            hadoop version

    2.启动hadoop

            第一次启动

                            start-all.sh

                    要是出现这个提示，请参考下一篇《好玩的大数据之05：SSH安装》先安装和配置SSH

SSH问题

            第二次启动

                            start-all.sh
                            要是出现这个提示，请修改hadoop-env.sh

                            vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

                            查找“export JAVA_HOME”这串字符(vi中查找用/export JAVA_HOME，找下一个按n键)

                            找到“#export JAVA_HOME=”这个位置，去掉前面的’#‘(vi中删除一个字符用x)

                            并修改为以下这个样子‘(vi中进入编辑状态敲i)

                            export JAVA_HOME=/mylab/soft/jdk1.8.0_251

                            修改完成先按ESC键，退出编辑状态，然后敲":x!"保存并退出

JAVA_HOME问题

        第三次启动

                            start-all.sh

                            要是出现这个提示，恭喜你，搞定噻  

恭喜你，安装成功！

                       执行jps(Java Virtual Machine Process Status Tool，是java提供的一个显示当前所有java进程pid的命令，适合在linux/unix平台上简单察看当前java进程的一些简单情况)

                            jps

2.启动historyserver

            mr-jobhistory-daemon.sh start historyserver

            或者

            mapred --daemon start historyserver

3.Web界面

        1) ResourceManager 

                    http://master:8088

ResourceManager 

        2)  NameNode 

             http://master:9870


        1)  JobHistoryServer

             http://master:19888

JobHistoryServer

4.停止hadoop

        stop-all.sh

        正常的化，会出现这个提示

5.运行例子

    hadoop fs -mkdir -p /user/hadoop/input

    hadoop fs -put $MYLAB_BASE_HOME/hadoop-3.2.1/etc/hadoop/*.xml /user/hadoop/input

    hadoop fs -rm -r /user/hadoop/output

    hadoop jar $MYLAB_BASE_HOME/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount  /user/hadoop/input /user/hadoop/output

    hadoop fs -ls /user/hadoop/output

https://blog.csdn.net/hitwengqi/article/details/8008203

6.离开/进入安全模式

        离开

                hadoop dfsadmin -safemode leave

        进入

                hadoop dfsadmin -safemode enter

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 216,591评论 6赞 501
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,448评论 3赞 392
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 162,823评论 0赞 353
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,204评论 1赞 292
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,228评论 6赞 388
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,190评论 1赞 299
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,078评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,923评论 0赞 274
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,334评论 1赞 310
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,550评论 2赞 333
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,727评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,428评论 5赞 343
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,022评论 3赞 326
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,672评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,826评论 1赞 269
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,734评论 2赞 368
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,619评论 2赞 354