hadoop单机版的搭建

从debian8升级到debian9后,一不小心把原来的hadoop环境给搞没了,只能重新搭建。

hadoop版本2.6.5

hdfs存储路径为/data/hdfs, 里面创建了对应的tmp和name文件夹。

首先配置hadoop-2.6.5/etc/hadoop/路径下的core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hdfs/tmp</value>
    </property>
</configuration>

再配置hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/data/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/data/hdfs/data</value>
    </property>
</configuration>

最后配置mapred-site.xml:

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

这样单机版的hadoop就基本配置好了。

然后格式化hdfs:

 bin/hdfs namenode -format

完成后就直接启动hadoop:

sbin/start-all.sh

如果启动没有错误,就可以通过web ui来查看hadoop的运行情况:

http://localhost:50070

运行命令,就能看到hdfs的实际使用情况:

bin/hadoop fs -df /
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容