Hadoop-3.0.3 安装
一 下载安装包
二配置Hadoop环境变量
/etc/profile 后面追加
export HADOOP_HOME=/data/hadoop-3.0.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
三 修改
hadoop-env.sh文件
末尾追加：
export JAVA_HOME=/data/jdk1.8.0_172
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
四 修改
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.16.94:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/data/hadoop-3.0.3/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
五、修改
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/data/hadoop-3.0.3/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data/hadoop-3.0.3/datanode</value>
</property>
</configuration>
六、启动服务
nohup ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode &nohup ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode &
nohup ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode &
七、jps 检查服务启动情况
八、对DataNode进行分块
hdfs namenode –format
九、执行
${HADOOP_HOME}/bin/hadoop checknative -a
若报错不能加载本地库问题。有可能是
原因是系统的glibc版本太低，软件编译时使用了较高版本的glibc引起的
解决方案如下:
1.使用命令 strings /lib64/libc.so.6 |grep GLIBC_ 检查所有的版本
缺少GLIBC_2.14造成。
2. 下载编译环境
yum install svn autoconfautomake libtool cmake ncurses-devel openssl-devel gcc*
下载 http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz ;
解压 mkdir build && cd build
配置 ../configure --prefix=/opt/glibc-2.14
执行 make && make install
3.配置 cp /etc/ld.so.c* /opt/glibc-2.14/etc/
4. 创建新的软连接 ln -sf /opt/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6
5.检查是否安装成功 strings /lib64/libc.so.6 | grep GLIBC
十、再次执行${HADOOP_HOME}/bin/hadoop checknative -a 检查是否OK 。
