1.在~/etc/中修改主机名文件hosts。所要构建的集群模式包括两个节点:master和slave,以此分别代替IP地址。
2. ping网络连接状态。
3.在root权限下创建hadoop用户。
4.设置主机间无密码连接。
(1)生成密钥对。
master生成密钥对,master远程操作slave生成密钥对ssh slave ssh-keygen –t rsa
(2)将slave刚生成的公钥复制到master的~/.ssh中。
(3)将master和slave的公钥都写入到maser主机~/.ssh目录的认证文件authorized_key中。
(4)用chmod命令修改authorized_key的属性为600。
(5)将master上的authorized_key文件复制到slave的~/.ssh目录里。
(6)无密码连接测试ssh slave显示测试成功。
5.递归创建hadoop目录结构:mkdir –p。
6.用wget命令下载jdk,然后用tar zxf解压。并用mv命令移动改名到chadoop/java。
7.配置环境变量:向~/.bash_profile文件中添加环境变量,然后用. .bash_profile执行,并测试。
8.下载hadoop、hbase、mahout并解压,移动命名。
9.配置hadoop文件:修改八个文件。
10.将master主节点复制到slave节点。
(1)克隆画像文件scp .bash_profile hadoop@slave:~/并生效。
(2)克隆chadoop目录结构到slave。
11.在master主机上格式化HDFS文件系统。
12.启动hadoop之前关闭所有节点主机的防火墙,开放所有端口号,然后启动hadoop,用jps检查hadoop进程。
13.hdfs文件系统的操作:将hadoop配置文件目录上的所有文件上传到hdfs的文件系统中。