VM虚拟机Linux系统下Hadoop环境配置

一、安装VM10虚拟机


在手动安装时的注意事项:

1.VM10的密钥可以在网上百度找到(下面是从百度粘的)

    MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A

   5A6F6-88247-XZH59-HL0Q6-8CD2V

2.选择系统时选择centOS所在的位置

3.名字和密码自己设置即可(我的虚拟机名称hadoop 密码hadoop 位置D:\Virtual Machines\hadoop)

4.虚拟机开机后登陆时用root登陆,即选择other,用户名为root,密码为hadoop,主要是为了下面的配置,root的权限非常高,有更高的权限去配置,能保证配置的顺利进行



二、虚拟机网络配置(使虚拟机能上网)


1.在windows系统下的命令提示符(win+r)中键入ipconfig/all指令查看ipv4地址和DNS服务器地址

2.在虚拟机界面旁边的侧栏选中自己的虚拟机(我的是hadoop)然后右击hadoop->(最下面设置进入)虚拟机设置->选择网络适配器->将网络连接改为桥接模式->确定

3.在虚拟机小电脑图标那->VPN connections->configure VPN->选中第一个(也是唯一一个)然后edit设置ipv4

4.在虚拟机命令行下键入service network restart指令回车

5.然后再在虚拟机命令行键入ifconfig指令回车可查看虚拟机ipv4地址和DNS地址

6.在命令提示符中输入ping+虚拟机ipv4地址,如果能ping通就可以在虚拟机上上网了




三、虚拟机其他配置(主要是为了后面配置Hadoop和Eclipse做的一些必要配置)


PS:下面指令都是在虚拟机cmd下输入的

1.关闭防火墙

       键入chkconfig iptables off命令回车

2.禁用selinux

       (1)键入vim /etc/sysconfig/selinux命令回车

       (2)将SELINUX=的那一行改为SELINUX=disabled

        注:光标移到需要修改的那一行,输入i(意义为insert插入),然后就可以修改需 要修改的信息,修改完毕后点击按键Esc退出此插入模式,最后输入:wq写入并退出(如果退出不了就输入q!强行写入并退出q!---强制退出不保存)

      ----------常识:linux下复制粘贴快捷键为:ctrl+shift+c、ctrl+shift+v 

3.修改主机名

      (1) 键入指令hostname可查看主机名

       (2)然后键入指令vim /etc/sysconfig/network

       (3)输入HOSTNAME=hadoop(用2中一样的方式---快捷键i)

4.修改主机名与IP地址之间的对应关系

      (1)键入指令vim /etc/hosts回车

      出现:127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

               ::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

       (2)    10.15.27.101  hadoop  #########增加此处代码10.15.27.101 hadoop

       PS:增加这一行代码时是用快捷键o修改然后退出方式和上面一样,快捷键o和i的区别是,o是插入新的一行,i是直接在当前行插入修改

5.重启虚拟机

       键入reboot重启虚拟机---root登陆因为他权限高进行下一步配置

6.ssh免密钥登陆

       (1)键入ssh-keygen -t rsa指令再四次回车

       (2)然后键入ssh-copy-id 10.15.27.101回车

       (3)root@192.168.12.99's password:           ####此处输入你的登陆密码

       (4)继续键入ssh 10.15.27.101会出现下面信息即此步免密钥登陆完成完成



四、虚拟机java环境配置以及其他一些软件的安装


1.安装lrzsz--------ftp软件(能实现在虚拟机linux系统下上上传下载功能)

       键入命令:yum install -y lrzsz回车

        PS:一定要保证虚拟机是处于联网状态才可安装成功

2.删除虚拟机内filesystem中home目录下所有文件夹并在home目录下分别创建data、softwares、tools文件夹

3.配置JAVA环境变量

       键入命令:rpm -qa|grep jdk回车

       然后键入:rpm -qa|grep java再回车

4.下载java8 linux然后解压java8 linux 的JDK

       (1)将下载的java 8 linux的jdk压缩包拖到linux虚拟机的computer->filesystem->home->tools中

       (2)然后在tools目录下键入tar -zxf jdk-8u131-linux-x64.tar.gz -C ../softwares/回车进行解压(解压到softwares文件夹中)

        注:解压完成后可以键入cd ../softwares/切换到softwares文件夹中再键入ls查看JDK是不是已经在该目录下了

5.配置java的JDK

      (1)键入命令cd /home然后键入命令cd softwares/将目录切换到softwares目录下

      (2)键入命令ls查看jdk名称(此处是jdk1.8.0_131)

      (3)键入cd jdk1.8.0_131/到此JDK中

      (4)键入pwd查看此JDK在虚拟机中的完整路径(此处是/home/softwares/jdk1.8.0_131,将此路径复制下来填入后面的JAVA_HOME)

      (5)键入指令vim /etc/profile回车

      (6)然后光标移到最后一行按快捷键i插入下面两行代码,插入完成后esc退出然后:wq完成插入

           export JAVA_HOME=/home/softwares/jdk1.8.0_131

           export PATH=$PATH:$JAVA_HOME/bin

      (7)键入指令source /etc/profile回车刷新即完成了JDK的配置

      (8)键入指令java -version可查看java的版本并检查是否已配置成功

6.配置其他一些软件和环境

   (1)下载下面软件压缩包并拖拽压缩包到虚拟机中的tools文件夹中

        apache-maven-3.0.5-bin.tar.gz      hadoop-native-64-2.7.0.tar

        findbugs-1.3.9.tar.gz                      jdk-8u131-linux-x64.gz

        hadoop-2.9.2.tar.gz                       protobuf-2.5.0.tar.gz

    (2)解压其中

         apache-maven-3.0.5-bin.tar.gz

         findbugs-1.3.9.tar.gz

         protobuf-2.5.0.tar.gz

         hadoop-2.9.2.tar.gz

         这四个压缩文件到softwares文件夹下面,解压命令如下:

         [root@hadoop tools]# tar -zxf apache-maven-3.0.5-bin.tar.gz -C ../softwares/

         [root@hadoop tools]# tar -zxf findbugs-1.3.9.tar.gz -C ../softwares/

         [root@hadoop tools]# tar -zxf protobuf-2.5.0.tar.gz -C ../softwares/

         [root@hadoop tools]# tar -zxf hadoop-2.9.2.tar.gz -C ../softwares/

    (3)配置maven、findbugs和hadoop的环境变量

         vim /etc/profile    ---这条指令表示文本编辑,可进入然后编辑

         内容:(i快捷键写入)

         export MAVEN_HOME=/home/softwares/apache-maven-3.0.5

         export PATH=$PATH:$MAVEN_HOME/bin

         export FINDBUGS_HOME=/home/softwares/findbugs-1.3.9

         export PATH=$PATH:$FINDBUGS_HOME/bin

         export HADOOP_HOME=/home/softwares/hadoop-2.9.2

         export PATH=$PATH:$HADOOP_HOME/bin

         esc+:wq写入退出

         source /etc/profile  ---刷新然后下面两条指令可检查环境配置是否成功

         [root@hadoop softwares]# mvn –v

         [root@hadoop softwares]# findbugs -version

    (4)protobuf安装系统依赖

        1)键入下面指令给protobuf下载安装系统依赖

         [root@hadoop protobuf-2.5.0]# yum -y install automake libtool cmake ncurses_devel openssl-devel lzo-devel zlib-devel gcc gcc-c++

        2)键入指令./configure回车查看安装

        3)键入指令make install回车进行安装



五、Hadoop环境配置


注:这里利用了一个NotePad++软件,对改配置文件非常方便

       安装Notepad++并进行操作:

               (1)打开notepad++->插件->插件管理->选择NppFTP安装

               (2)安装NppFTP后notepad++稍后会自己出来表示NppFTP已安装完成

               (3)选择插件->NppFTP->show nppFTP window

               (4)nppFTP窗口设置齿轮按钮->Profile settings->add new如图

               (5)点击连接按钮进行连接,然后双击根目录"/"切换到虚拟机目录

               (6)找到需要修改的文件位置home->softwares->hadoop-2.9.2->etc->hadoop然后开始找文件修改

PS:也可以不使用NotePad++软件直接对Hadoop配置文件修改,通过路径home->softwares->hadoop-2.9.2->etc->hadoop找到配置文件所在位置再对相应的配置文件进行下文修改操作亦可


1.notepad++打开并修改hadoop-env.sh文件

   这行代码改为export JAVA_HOME=/home/softwares/jdk1.8.0_131

   注:JAVA_HOME查询是可以通过指令echo $JAVA_HOME查询到复制即可

2.修改core-site.xml文件

   <configuration>

     <property>

         <name>fs.defaultFS</name>

         <value>hdfs://hadoop:8020</value>

     </property>

     <property>

         <name>hadoop.tmp.dir</name>

         <value>/home/softwares/hadoop-2.9.2/data/tmp</value>

     </property>

   </configuration>

3.配置Hadoop文件系统

   (1)修改hdfs-site.xml文件

       <configuration> 

            <property>

                 <name>dfs.replication</name>

                 <value>1</value>

            </property>

       </configuration>

   (2)格式化文件系统

        虚拟机cmd切换到hadoop-2.9.2目录下

        键入bin/hdfs namenode –format

   (3)启动文件系统

       终端切换到hadoop-2.9.2目录下

       键入sbin/start-dfs.sh

   (4)在浏览器下输入网址http://10.15.27.101:50070/会出现一个图show-6

4.配置yarn

   (1)修改mapred-site.xml-------------名字一开始是mapred-site.xml.template将此文件重命名去掉后面的".template"

       <configuration>

           <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

           </property>

       </configuration>

   (2)修改yarn-site.xml

       <configuration>

           <property>

                 <name>yarn.nodemanager.aux-services</name>

                 <value>mapreduce_shuffle</value>

           </property>

       </configuration>

   (3)启动yarn

       进入hadoop-2.9.1目录指令cd /home/softwares/hadoop-2.9.2/

       键入sbin/start-yarn.sh启动yarn(与之对应的停止yarn的指令是sbin/stop-yarn.sh)

   (4)在浏览器下输入网址http://10.15.27.101:8088/会出现一个图show-7-----------------大数据监控后台

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 222,183评论 6 516
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,850评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,766评论 0 361
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,854评论 1 299
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,871评论 6 398
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,457评论 1 311
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,999评论 3 422
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,914评论 0 277
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,465评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,543评论 3 342
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,675评论 1 353
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,354评论 5 351
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 42,029评论 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,514评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,616评论 1 274
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 49,091评论 3 378
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,685评论 2 360

推荐阅读更多精彩内容