Hadoop配置文件
Hadoop集群中的每台计算节点都有一组自己的配置文件。
Hadoop系统的后续版本中按照不同的功能将其划分为多个配置文件，此外有两种类型的配置文件:
-default.xml和-site.xml。-site.xml中的配置项覆盖-default.xml中有相同的配置项。
配置Hadoop守护进程
- hadoop-env.sh
- yarn-env.sh
- mapred-env.sh
这些脚本文件负责设置以下属性 - Java主目录
- 不同的日志文件位置
- 用于不同各种守护进程的JVM选项
下列配置选线来配置各个守护进程
名称节点——————HADOOP_NAMENODE_OPTS
数据节点——————HADOOP_DATANODE_OPTS
辅助名称节点——————HADOOP_SECONDARYNAMENODE_OPTS
资源管理器———————YARN_RESOURCEMANAGER_OPTS
节点管理器———————YARN_NODEMANAGER_OPTS
Hadoop配置文件的优先级
1.MapReduce任务初始化的时候，由JobConf或者Job对象指定的值
2.客户端节点的-site.xml
3.从节点的-site.xml
4.*-dafault文件中的默认值，这个文件是集群中的所有节点都是相同的
<final>true<final>可以设置属性不被客户端修改或者程序修改
core-site.xml
hdfs-*.xml
mapred-site.xml
yarn-site.xml
从HDFS中复制海量数据
hadoop distcp hdfs://192.168.1.220:8020/user/hadoop/mydatabase hdfs://192.168.1.22:9000/user/hadoop
注意hadoop的HDFS存放的端口位置
