1 集群的启动和停止
格式化文件系统
hdfs namenode -format
- 格式化hdfs文件系统：
hdfs namenode -format(主节点，只需要格式化一次就行，下次启动是无需执行)。
启动集群(注意启动顺序)
sh sbin/start-dfs.sh
sh sbin/start-yarn.sh
sh sbin/mr-jobhistory-daemon.sh start historyserver
- 启动hdfs，进入hadoop的安装目录，
sh sbin/start-dfs.sh(要在hadoop的安装路径中，etc/hadoop/hadoop-env.sh中设置JAVA_HOME，否则启动时会报JAVA_HOME找不到的错误)。 - 启动YARN，进入hadoop的安装目录，
sh sbin/start-yarn.sh - 启动日志相关服务，进入hadoop的安装目录，
sh sbin/mr-jobhistory-daemon.sh start historyserver
停止集群(注意停止顺序)
sh sbin/stop-yarn.sh
sh sbin/stop-dfs.sh
sh sbin/mr-jobhistory-daemon.sh stop historyserver
- 停止yarn，
sh sbin/stop-yarn.sh - 停止dfs，
sh sbin/stop-dfs.sh - 停止日志相关服务，
sh sbin/mr-jobhistory-daemon.sh stop historyserver
通过集群启动分析Hadoop（DFS、YARN）的相关进程
sh sbin/start-dfs.sh之后，通过jps查看启动的进程。
启动hdfs之后
从上图可以看出，和DFS相关的进程主要是NameNode、SecondaryNameNode、DateNode。其中，NameNode、SecondaryNameNode位于主节点上，DataNode分别位于3个从节点上。
sh sbin/start-yarn.sh之后，再通过jps查看启动的进程，
启动YARN之后
从上图可以看出，和YARN相关的进程分别是ResourceManager、NodeManager。其中，ResourceManager位于主节点上，NodeManager位于各个从节点上。
2 HDFS相关命令
查看hdfs集群状态:
hdfs dfsamdin -report
hdfs dfsadmin -report -live
hdfs dfsadmin -report -dead
hdfs dfsadmin -report -decommissioning
hdfs dfsadmin -safemode enter //启动安全模式
hdfs dfsadmin -safemode leave // 关闭安全模式
创建目录
- hdfs dfs 查看命令帮助
- hdfs dfs -mkdir DIR_NAME
上传和下载文件
- hdfs dfs -copyFromLocal local.txt /remote/remote.txt 将本地文件拷贝到DFS文件系统中
- hdfs dfs -mvFromLocal local.txt /remote/remote.txt 将本地文件移动到DFS文件系统中
- hdfs dfs -put local.txt /remote/remote.txt 将本地文件上传到DFS文件系统中(有点类似-copyFromLocal)
- hdfs dfs -copyToLocal /remote/remote.txt local.txt 将HDFS文件拷贝到本地文件系统中
- hdfs dfs -get /remote/remote.txt local.txt 将HDFS文件下载到本地文件系统中
查看dfs文件系统中的文件
- hdfs dfs -cat FILENAME
- hdfs dfs -tail FILENAME
删除dfs中的文件和目录
- hdfs dfs -rm FILENAME
- hdfs dfs -rmdir DIR_NAME
并行的拷贝文件 distcp
将集群1的 /foo目录复制到集群2的/foo目录
hadoop distcp -update -delete -p hdfs://namenode1/foo hdfs://namenode2/foo
若两个集群的HDFS版本不兼容，可以使用webHDFS协议
hadoop distcp -update -delete -p webhdfs://namenode1/foo \
webhdfs://namenode2/foo
常用命令的alias
可以将下面的alias添加到~/.bash_profile中，这样就可以简化输入命令的长度。
alias cdh='cd /usr/local/hadoop-2.6.5'
alias hls='hdfs dfs -ls'
alias hcpf='hdfs dfs -copyFromLocal'
alias hcpt='hdfs dfs -copyToLocal'
alias hrm='hdfs dfs -rm'
alias hrmdir='hdfs dfs -rmdir'
alias hmkdir='hdfs dfs -mkdir'
alias hcat='hdfs dfs -cat'
alias htail='hdfs dfs -tail'
web方式查看HDFS
http://master:50070
3 Web集群监控
- HDFS信息： http://namenode_host:port, 默认: http://192.168.2.154:50070
- YARN信息: http://resource_manager_host:port, 默认: http://192.168.2.154:8088
- 日志服务信息: http://jobhistory_server_host:port, 默认: http://192.168.2.154:19888
4 YARN相关操作命令
提交任务给MapReduce集群
- hadoop jar JAR_NAME wordcount INPUT OUTPUT
- hadoop jar JAR_NAME PI MAP_COUTN EXECUTE_COUNT_OF_EACH_MAP
- 查看集群的计算资源：http://master:8088/cluster/nodes
- 查看集群任务信息：http://master:8088/cluster/apps
- 练习通过两个窗口向集群中提交多个任务
中断MapReduce任务（通过web界面）
- 方法1：
mapred job -kill job_id - 方法2： 直接通过资源界面，找到对应的作业，"Kill Application"
获取计数器的个数
格式: mapred job -counter <job-id> <group-name> <counter-name>
举例：
mapred job -counter job_1535252686216_0008 "Data statistic" "VALID_COUNT"
计算器可以通过mapred job命令获取，也可以调用API动态的读取计数器。
实验命令
第一个实验：计算文件中每个邮件出现的次数
hadoop jar /usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar \
wordcount \
/data/email_log.txt \
/data/output
第二个实验：使用monte carlo估算PI值
hadoop jar /usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar \
pi \
100 \
100
第三个实验：多任务提交，观察第一个任务占有所有资源之后，第二个任务会处于accept状态，等待yarn分配资源
hadoop jar /usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar \
wordcount \
/data/email_log.txt \
/data/output1
hadoop jar /usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar \
wordcount \
/data/email_log.txt \
/data/output2
第四个实验：提交多个任务，然后通过界面，中断任务，观察是否切换执行在等待的任务
hadoop jar /usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar \
pi \
100 \
1000
hadoop jar /usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar \
wordcount \
/data/email_log.txt \
/data/output2
第五个实验：运行一个自己写的mapreduce
hadoop jar /root/data/dailyAccessCount.jar /data/user_login.txt /data/userlogin
hadoop jar accessTimeSort.jar /data/userlogin1/part-r-00000 /data/accesssort1
