hadoop配置详解，做大数据必须踏出的第一步

配置hadoop：

第一个：hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_65

选择修改日志文件目录（默认目录内日志文件太多易混）：

export HADOOP_LOG_DIR=/var/log/hadoop

第二个：core-site.xml

fs.defaultFS

hdfs://主机名:9000

hadoop.tmp.dir

/home/hadoop/hadoop-2.4.1/tmp

io.file.buffer.size

131072

第三个：hdfs-site.xml

dfs.namenode.secondary.http-address

JD:9001

dfs.namenode.name.dir

file:/usr/local/hadoop-2.4.1/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop-2.4.1/dfs/data

dfs.replication

dfs.webhdfs.enabled

true

dfs.namenode.datanode.registration.ip-hostname-check

false

dfs.permissions

false

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

JD:10020

mapreduce.jobhistory.webapp.address

JD:19888

第五个：yarn-site.xml

yarn.resourcemanager.hostname

主机名

yarn.nodemanager.aux-services

mapreduce_shuffle

格式化namenode（首次启动需要先格式化，不然无法启动namenode）

hdfs namenode -format (hadoop namenode -format)

http://192.168.74.141:50070 （HDFS管理界面）

http://192.168.74.141:8088 （MR管理界面）

常见问题：

1.使用命令上传无法成功上传文件，检查到dfs.replication误设为0；

2.使用eclipse 上传文件，hdfs中只有文件名，大小为0，未上传成功，连接datanode失败

喜欢的朋友不妨关注我前十即送hadoop全套资料！