(初级)hadoop的伪分布笔记

1.设置ip    service network restart

2.关闭防火墙    service iptables stop

3.设置主机名    hostname hadoop

4.ip与hostname绑定    vi /etc/hosts    vi /etc/sysconfig/network        

将HOSTNAME改为hadoop

5.设置ssh免密码登陆    ssh-keygen -t rsa    

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys   

 (如果存在authorized_keys的话,将生成的id_rsa.pub中的内容,复制到authorized_keys中)

6.安装jdk    cd /usr/local    

tar -zxvf jdk-7u79-linux-x64.tar.gz    

vi /etc/profile中增加内容        

export JAVA_HOME=/usr/local/jdk        

export PATH=.:$JAVA_HOME/bin:$PATH        

source /etc/profile    

java -version

7.安装hadoop    

tar -zxvf hadoop-1.1.2.tar.gz    

mv hadoop-1.1.2 hadoop    

vi /etc/profile 增加内容如下:        

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH    

source /etc/profile   

修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml    

1.hadoop-env.sh        

export JAVA_HOME=/usr/local/jdk/    

2.core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

3.hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

4.mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop:9001</value>

</property>

</configuration>

8.格式化hadoop&启动hadoop    

hadoop namenode -format    

start-all.sh

9.验证    

执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker    浏览器查看,http://hadoop:50070  http://hadoop:50030

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容