Hadoop安装教程——单机/伪分布/完全分布式配置

单机模式

  • 1.1.1 安装前装备

  • (1)安装Linux

    下载Ubuntu 16.04，下载地址：http://ftp.sjtu.edu.cn/ubuntu-cd/16.04.5/

    （a）Desktop --> 桌面版，默认带了界面 ubuntu-16.04.5-desktop-amd64.iso

    （b）Server --> 服务器版，默认没有带界面 ubuntu-16.04.5-server-amd64.iso

  • （2）查看防火墙状态
    查看防火墙状态
    sudo ufw status
    关闭防火墙
    sudo ufw disable

  • (3) 安装JDK

解压到根目录：
tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~

建一个软链接（方便使用）

ln -s jdk1.8.0_144 jdk (改名为jdk)

配置环境变量

vi ~/.bashrc

export JAVA_HOME=/home/hadoop/jdk  (hadoop为用户名，jdk为jdk的安装目录，可使用软链接)

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.

变量生效：（修改配置后，一定要记住生效）

source ~/.bashrc

vi如何使用

系统自带的vi很难用，建议安装vim

sudo apt-get install  vim    // 安装vim
输入`a`进入编辑模式
`esc` //退出编辑模式
`:wq` // 保存并退出
`:q`  //不保存退出

查看jdk是否安装成功
java -version

  • （4）Hadoop安装包解压
    tar -zxvf hadoop-2.7.3.tar.gz -C ~

创建超链接：
ln -s hadoop-2.7.3 hadoop

配置环境变量：
vi ~/.bashrc

export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

变量生效：
source ~/.bashrc

1.1.2 安装 （cd 到hadoop中的etc目录）

  • （1）修改配置

vi hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk (实际jdk的安装目录)

查看hadoop是否安装成功
hadoop version

1.2 伪分布模式

  • 1.2.1 安装前准备

  • (1) 参考上面1.1.1
    同1.1.1

  • （2）配置主机名

sudo vi /etc/hosts (前面加sudo，需要root权限)

191.168.1.51   node1.hadoop  node1

注：191.168.1.51 //本机实际ip，输入`ifconfig`可查看
    node1               //主机名
   `cat  /etc/hostname`    //查看主机名
    `vi   /etc/hostname`    //修改主机名
  • （3）确认openssh-client、openssh-server是否安装

查看是否已经安装ssh （xshell要连接上服务器也需要安装ssh）
dpkg -l | grep openssh

若没有，安装命令：

`sudo apt-get install openssh-client`
`sudo apt-get install openssh-server`

ssh是目前较为可靠，专为远程登录会话和其他网络服务提供安全性的协议，利用ssh协议可以有效防止远程管理过程中的信息泄露问题。

  • （4）免密码登录

通过ssh-keyen生成一个RSA的密钥对:

ssh-keygen -t rsa -P ''（P为大写，操作过程一路回车）

公钥追加到~/.ssh/authorized_keys文件中:

ssh-copy-id -i ~/.ssh/id_rsa.pub node1 主机名(如上面都node1)

测试免密码登录： ssh node1

1.2.2安装

  • (1) 修改配置文件 （hadoop/etc/hadoop）

vi hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk

vi hdfs-site.xml

<!--表示数据块的冗余度，默认：3-->

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

core-site.xml

<!--配置NameNode地址,9000是RPC通信端口-->

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://node1:9000</value>
</property> 

<!--HDFS数据保存在Linux的哪个目录，默认值是Linux的tmp目录-->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/home/hadoop/hadoop/tmp</value>
</property>
image.png

mapred-site.xml

默认没有（cp mapred-site.xml.template mapred-site.xml）

<!--MR运行的框架-->
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

yarn-site.xml

<!--Yarn的主节点RM的位置-->
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>node1</value>
</property> 

<!--MapReduce运行方式：shuffle洗牌-->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

  • (2) 格式化
    hdfs namenode -format

  • (3) 启动停止Hadoop的环境
    start-all.sh
    stop-all.sh

  • (4）测试
    查看进程：
    jps

image.png

通过Web界面：（网址要改成自己的ip）
HDFS: http://191.168.1.51:50070

http://191.168.1.51:50090

Yarn: http://191.168.1.51:8088

1.3 完全分布式模式

安装规划
确定几个节点，Namenode、Datanode安装在哪几台机器上。
这里用两个Datanode，一个Namenode
每台机器参考上面“安装前准备操作”,同时增加下面几步：

  • 2.1.1 安装前准备

  • （1）参考上面1.1.1
    同1.1.1

  • （2）配置主机名

sudo vi /etc/hosts

191.168.1.51   node1.hadoop  node1
191.168.1.52   node2.hadoop  node2
191.168.1.53   node3.hadoop  node3
  • (3) 安装ntp服务 （保证集群内所有主机时间同步）

$sudo dpkg -l |grep ntp

若NTP尚未安装就运行安装命令：

$ sudo apt-get install ntp

ntp服务需要注意能连接网络，有什么用？
如果时间不一样，执行MapReduce程序的时候可能存在问题

  • (4) 配置免密码登录：两两之间的免密码登录
每台机器上运行：
ssh-keygen -t rsa -P ''
ssh-copy-id -i  ~/.ssh/id_rsa.pub  node1
ssh-copy-id -i  ~/.ssh/id_rsa.pub  node2
ssh-copy-id -i  ~/.ssh/id_rsa.pub  node3
  • (1) 修改配置文件 （hadoop/etc/hadoop）

vi hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk

vi hdfs-site.xml

<!--表示数据块的冗余度，默认：3-->

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

core-site.xml

<!--配置NameNode地址,9000是RPC通信端口-->

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://node1:9000</value>
</property> 
<!--HDFS数据保存在Linux的哪个目录，默认值是Linux的tmp目录-->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/home/hadoop/hadoop/tmp</value>
</property>
image.png

mapred-site.xml

默认没有（cp mapred-site.xml.template mapred-site.xml）

<!--MR运行的框架-->
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

yarn-site.xml

<!--Yarn的主节点RM的位置-->
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>node1</value>
</property> 

<!--MapReduce运行方式：shuffle洗牌-->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

slaves

`node2`
`node3`

  • (2) 格式化NameNode
    hdfs namenode -format

  • (3) 把主节点上配置好的hadoop复制到从节点上

`scp -r hadoop-2.7.3/ hadoop@node2:/home/hadoop`
`scp -r hadoop-2.7.3/ hadoop@node3:/home/hadoop`

注意：hadoop@node2改为自己的用户名：shexiaobin@node2

/home/hadoop改为：/home/sheixaobin

  • (4) start-all.sh

  • (5)jps 看进程
    注意：node1不能出现datanode

image.png

通过Web界面：

HDFS:  http://191.168.1.51:50070 
 http://191.168.1.51:50090
Yarn:  http://191.168.1.51:8088

Mapreduce 测试

通过mapreduce：

但预先要往hdfs传一个文件，如何操作?

1.   Linux目录下，随意一个目录，创建一个文本文件data.txt，里面写些内容。
2.   hdfs dfs  -mkdir /input
3.   hdfs dfs -put data.txt /input    ---上传
4.   hdfs dfs -ls /input            --查看

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output

注意：要cd 到对应的目录再打开终端
cd hadoop/hadoop-2.7.3/share/hadoop/mapreduce
可以输入：locate +文件名 找到路径

最后查看结果： hdfs dfs -ls /output

image.png

hdfs dfs -cat /output/part-r-00000


image.png

namenode未启动后遗症：拒绝连接 9000端口没启动，导致input文件无法创建


image.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 220,458评论 6赞 513
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 94,030评论 3赞 396
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 166,879评论 0赞 358
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 59,278评论 1赞 295
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 68,296评论 6赞 397
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 52,019评论 1赞 308
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,633评论 3赞 420
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,541评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 46,068评论 1赞 319
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,181评论 3赞 340
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,318评论 1赞 352
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,991评论 5赞 347
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,670评论 3赞 331
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,183评论 0赞 23
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,302评论 1赞 272
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 48,655评论 3赞 375
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 45,327评论 2赞 358

推荐阅读更多精彩内容