Hadoop云操作系统基础环境的构建与配置

1.在~/etc/中修改主机名文件hosts。所要构建的集群模式包括两个节点:master和slave,以此分别代替IP地址。


2. ping网络连接状态。


3.在root权限下创建hadoop用户。


4.设置主机间无密码连接。

(1)生成密钥对。

master生成密钥对,master远程操作slave生成密钥对ssh slave ssh-keygen –t rsa


(2)将slave刚生成的公钥复制到master的~/.ssh中。


(3)将master和slave的公钥都写入到maser主机~/.ssh目录的认证文件authorized_key中。


(4)用chmod命令修改authorized_key的属性为600。


(5)将master上的authorized_key文件复制到slave的~/.ssh目录里。

(6)无密码连接测试ssh slave显示测试成功。


5.递归创建hadoop目录结构:mkdir –p。


6.用wget命令下载jdk,然后用tar zxf解压。并用mv命令移动改名到chadoop/java。


7.配置环境变量:向~/.bash_profile文件中添加环境变量,然后用. .bash_profile执行,并测试。


8.下载hadoop、hbase、mahout并解压,移动命名。


9.配置hadoop文件:修改八个文件。


10.将master主节点复制到slave节点。

(1)克隆画像文件scp .bash_profile hadoop@slave:~/并生效。


(2)克隆chadoop目录结构到slave。


11.在master主机上格式化HDFS文件系统。


12.启动hadoop之前关闭所有节点主机的防火墙,开放所有端口号,然后启动hadoop,用jps检查hadoop进程。


13.hdfs文件系统的操作:将hadoop配置文件目录上的所有文件上传到hdfs的文件系统中。


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容