hadoop集群安装

环境:

Centos7.0,JDK1.8


设置主机名

hostname  hadoop1  hadoop2  hadoop3


hosts

/etc/hosts

192.168.31.17  hadoop1

192.168.31.210  hadoop2

192.168.31.65  hadoop3


免密钥登陆

ssh-keygen -t  rsa

ssh-copy-id -i  hadoop1

ssh-copy-id -i  hadoop2

ssh-copy-id -i  hadoop3

关闭防火墙

systemctl disable firewalld

yum remove firewalld -y

下载并解压hadoop,conf下修改

1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/


2.core-site.xml

3.hdfs-site.xml


4.mapred-site.xml

5.masters    hadoop1

6.slaves    hadoop2  hadoop3

7.传到其它服务器

scp  -r  ./hadoop-1.1.2  hadoop2:/root

scp  -r  ./hadoop-1.1.2  hadoop3:/root

8.运行hadoop

hadoop的bin目录下运行:hadoop  namenode  -format

hadoop的bin目录下运行:./start-all.sh

简单例子测试

创建两个数据文件

echo  "hello  world"  >test1.txt

echo  "hello  hadoop"  >test2.txt

导入数据文件,运行hadoop example例子

bin/hadoop  dfs  -put  ../input    in

bin/hadoop  jar hadoop-examples-1.1.2.jar  wordcount  in  out

查看运行结果

bin/hadoop  dfs  -cat  ./outs/*

web地址

http://192.168.31.17:50030/jobtracker.jsp

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Hadoop集群安装1.配置服务器1个主节点:master(192.168.15.128),2个(从)子节点,sl...
    明明就是小白阅读 548评论 0 2
  • 环境基础 三台虚拟机,本文以三台CentOS6.9为例(分别命名:bigdata1 bigdata2 bigdat...
    Alfredonwr阅读 593评论 0 2
  • 使用搭建部署分布式集群一:环境准备: 1:首先要有一个Centos7操作系统,可以在虚拟机中安装。 2:在cent...
    yaoshiyou阅读 320评论 0 1
  • 本文主要介绍Hadoop的一些基本信息及完全分布式安装,每一步都是笔者亲自操作所记录下来的,现分享出来希望能帮助到...
    君哥聊编程阅读 5,497评论 0 5
  • 单机部署参考Hadoop安装——单机 集群部署 在每台主机配置好java环境,将hadoop安装到每台主机的/us...
    顶儿响叮当阅读 617评论 0 2