linux hadoop 伪分布式部署

单机部署 进程没有

伪分布式部署 进程存在+1节点  开发

集群部署    进程存在+n节点  开发/生产

1、解压编译过的hadoop压缩包,(告诉大家一个秘密,通常文件名带src的是源码,不带src或者带bin的是编译过得),我这里使用的是hadoop-2.8.1.tar.gz

tar -zxvf  hadoop-2.8.1.tar.gz

2、解压后的目录


bin 执行命令的shell

etc 配置文件

lib 库

sbin 启动和关闭hadoop

share jar

3、配置环境变量

vi  /etc/profile


source /etc/profile

which hadoop看一下配置的环境变量有没有生效


已生效

4、配置文件 core-site.xml



\

core-site.xml文件

fs.defaultFS是hdfs的地址,

hdfs-site.xml文件

dfs.replication是hdfs的副本数量,因为是伪分布式只有1台服务器,所以只有1个副本。

5、ssh无密码登录

命令框输入:ssh-keygen,一直回车


安装完成;


id_rsa是私钥,id_rsa.pub是公钥,将公钥写入到授权库中,即可实现ssh无密码登录,

cat id_rsa.pub >> authorized_keys;


已经可以无密码登录,使用exit退出

6、格式化hdfs节点

        bin/hdfs namenode -format;

        将hdfs存储区域,格式化为hdfs需要用的文件格式;


JAVA_HOME找不到我们配置一下,


export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64

7、启动服务

sbin/start-dfs.sh


输入jps命令:


部署成功!!!!!

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容