HADOOP运行环境搭建

1. 环境准备:

一台linux机器,可以是本地VMware安装的虚拟机,或者一台真实的linux机器都可以。

如果是本地安装的虚拟机,需要预先配置好以下几点:

  • 配置机器静态IP(防止重启时IP变动)
  • 修改主机名(方便配置)
  • 关闭防火墙(防止端口被禁用)

2. 安装包准备

  1. jdk安装包
    下载地址:https://www.oracle.com/java/technologies/javase-jdk8-downloads.html
    推荐版本:jdk8及以上
  2. hadopp安装包
    下载地址http://archive.apache.org/dist/hadoop/core/
    推荐版本:2.7.2

3. 执行安装

1. 上传文件

  1. 在linux上新建目录/opt/software,/opt/module
  2. 上传jdk安装包和hadoop安装包


    image.png

2. 安装jdk

  1. 解压jdk包到/opt/module目录
[root@hadoop101 software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
  1. 配置jdk环境变量
    先获取jdk解压路径,本示例中解压的路径为:/opt/module/jdk1.8.0_144
    然后使用命令vim /etc/profile 打开/etc/profile文件
    在 /etc/profile的文件末尾增加以下内容
#JAVA_HOME配置
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

修改后保存退出

  1. 使环境变量配置生效
    执行命令: source /etc/profile
  2. 验证是否安装成功
    输入命令java -version,结果如下所示则安装JDK成功
[root@hadoop101 software]# java -version
openjdk version "1.8.0_222-ea"
OpenJDK Runtime Environment (build 1.8.0_222-ea-b03)
OpenJDK 64-Bit Server VM (build 25.222-b03, mixed mode)
[root@hadoop101 software]# 

3. 安装hadoop

  1. 解压安装包到/opt/module目录
[root@hadoop101 software]#  tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
  1. 配置环境变量
    先获取jdk解压路径,本示例中解压的路径为:/opt/module/hadoop-2.7.2
    然后使用命令vim /etc/profile 打开/etc/profile文件
    在 /etc/profile的文件末尾增加以下内容
##HADOOP_HOME配置
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

修改后保存退出

  1. 使环境变量配置生效
    执行命令: source /etc/profile
  2. 验证是否安装成功
    输入命令hadoop version,结果如下所示则安装HADOOP成功
[root@hadoop101 software]# hadoop version
Hadoop 2.7.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41
Compiled by jenkins on 2016-01-26T00:08Z
Compiled with protoc 2.5.0
From source with checksum d0fda26633fa762bff87ec759ebe689c
This command was run using /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar
[root@hadoop101 software]# 

4. HADOOP目录结构说明

安装之后的hadoop目录结构如下:

[root@hadoop101 hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@hadoop101 hadoop-2.7.2]# ll
total 32
drwxr-xr-x. 2 10011 10011   194 Jan 26  2016 bin
drwxr-xr-x. 3 10011 10011    20 Jan 26  2016 etc
drwxr-xr-x. 2 10011 10011   106 Jan 26  2016 include
drwxr-xr-x. 3 10011 10011    20 Jan 26  2016 lib
drwxr-xr-x. 2 10011 10011   239 Jan 26  2016 libexec
-rw-r--r--. 1 10011 10011 15429 Jan 26  2016 LICENSE.txt
-rw-r--r--. 1 10011 10011   101 Jan 26  2016 NOTICE.txt
-rw-r--r--. 1 10011 10011  1366 Jan 26  2016 README.txt
drwxr-xr-x. 2 10011 10011  4096 Jan 26  2016 sbin
drwxr-xr-x. 4 10011 10011    31 Jan 26  2016 share
[root@hadoop101 hadoop-2.7.2]# 
  • bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
  • etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
  • lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
  • sbin目录:存放启动或停止Hadoop相关服务的脚本
  • share目录:存放Hadoop的依赖jar包、文档、和官方案例

这样hadoop的安装就完成了,可以说是非常简单,接下来就可以修改配置文件,让hadoop跑起来了。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本文是hadoop的运行环境搭建实际的操作过程的记录和总结,整个文档包括如下内容: 概述 环境配置 创建用户 配置...
    我是老薛阅读 3,428评论 0 6
  • 安装hadoop2.7.2 解压(/opt/software -> /opt/module)tar -zxvf /...
    fanbuer阅读 216评论 0 0
  • 环境准备 1.修改静态iP2.修改hosts3.关闭防火墙4.创建用户和权限 5.安装jdk和Hadoop卸载现有...
    白纸糊阅读 291评论 0 0
  • 前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的...
    piziyang12138阅读 1,973评论 0 3
  • 1 虚拟机环境准备 克隆虚拟机 修改虚拟机的静态IP 修改主机名 关闭防火墙 创建your_name用户 设置yo...
    小猪Piglet阅读 108评论 0 0