linux服务器安装hdfs服务(hadoop3.2.1伪集群模式)

  1. 使用wget命令下载hadoop安装包(参考
wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

找一个目录进行解压操作

 tar -xzvf hadoop-2.6.0-cdh5.7.0.tar.gz
  1. 创建新用户来管理hadoop,主要是因为部分服务器的root需要禁用登录来确保服务器安全,这对在配置无密码登录ssh时有影响
useradd hadoop

su hadoop

cd 入hadoop根目录,系统根目录为home/hadoop  或者使用c~

mkdir software

将下载的安装包移动到software

  1. 配置无密码登录本机(否则启动需要多次输入密码)
cd ~

生成ssh key
ssh-keygen

cd 对应用户的.ssh目录下(如果是
新用户需要在根目录创建)
cat id_rsa.pub >> authorized_keys

加date可以直接返回结果,而不做机器切换
ssh localhost date

  1. 配置hadoop
cd hadoop的解压目录
vim /etc/hadoop/hadoop-env.sh
修改以下配置项
export JAVA_HOME=jdk目录
export HADOOP_CONF_DIR=/hadoop的解压目录/etc/hadoop
vim core-site.xml  
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
vim hdfs-site.xml 
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
  1. 添加lib(参考
wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar

tar -xvf hadoop-native-64-2.6.0.tar -C /hadoop安装目录/lib/native
  1. 启动hdfs
cd hadoop安装目录
bin/hdfs namenode -format
sbin/start-dfs.sh 
  1. 检查
    访问ip:50070地址,出现页面则表示安装成功,注意防火墙是否把50070开放(3.0版本端口为9870)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

推荐阅读更多精彩内容