配置的修改
pom文件
hdfs代码在hadoop-hdfs-project/hadoop-hdfs中，pom中关于依赖的其他hadoop模块的scope都设置为了provided，但我们需要在IDEA里启动hdfs，所以，要把这些provided都注释掉。
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-annotations</artifactId>
<!--<scope>provided</scope>-->
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-auth</artifactId>
<!--<scope>provided</scope>-->
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<!--<scope>provided</scope>-->
</dependency>
hdfs配置文件
core-site.xml
在hadoop-common工程里的src/main/conf/目录下找到 core-site.xml
配置内容如下
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
然后把这个文件复制一份，放到该工程的target/classes/目录里。
hdfs-site.xml
在hadoop-hdfs-project工程里的hadoop-hdfs模块下的src/main/conf目录里找到hdfs-site.xml，配置内容如下
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/xxxxxxxx/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/xxxxxxxx/hadoop-2.7.3-src/dfs/data</value>
</property>
</configuration>
然后把这个文件复制一份，放到该工程的target/classes目录下
关于webapps
hadoop内部有web应用对外提供服务，比如我们常用的50070之类的端口。这部分web应用在namenode和datanode启动的时候都需要加载，编译完毕的hadoop中，hdfs的web程序放在了 hadoop-hdfs-project/hadoop-hdfs/target/webapps目录下。在IDEA里，classpath被指定到了hadoop-hdfs/target/classes目录下，代码里启动的时候是到classpath里加载webapps的资源的，找不到就会报错。我的解决办法是：把hadoop-hdfs-project/hadoop-hdfs/target/webapps目录完整复制到hadoop-hdfs-project/hadoop-hdfs/target/classes下。
如果有人知道如何在IDEA里给classpath添加目录，可以在评论里留言，多谢各位。
尝试启动
namenode和datanode是两个独立的进程，说明他们有独立的main函数启动。namenode的main函数在hadoop-hdfs模块下的org.apache.hadoop.hdfs.server.namenode.NameNode类里。datanode的main函数在org.apache.hadoop.hdfs.server.datanode.DataNode类里。 分别右键debug一下。datanode启动没有报错，namenode报了一个我们非常熟悉的错误,告诉我们没有给NameNode做格式化。
java.io.IOException: NameNode is not formatted.
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:225)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:976)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:681)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:585)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:645)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:812)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:796)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1493)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)
hdfs在启动的时候，需要从磁盘上读取fsimage和editlog，然后把他们加载到内存里来，如果磁盘上没有这些信息，hdfs启动就会报这个错误，提示我们hdfs没有format。那我们要做的事情就是，去看下namenode 的format动作是如何被调起执行的。这个操作是hdfs的指令，所以，这个操作应该在hdfs的shell脚本里。在hadoop-hdfs-project/hadoop-hdfs/src /main/bin目录中找到hdfs脚本，我们看到当我们运行 hdfs namenode -format命令的时候，实际上，执行的主类就是NameNode主类，然后把-format参数传了进去。
hdfs文件第134行，解析到传入的command是namenode的时候，指定要执行的class名为org.apache.hadoop.hdfs.server.namenode.NameNode
if [ "$COMMAND" = "namenode" ] ; then
CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"
elif [ "$COMMAND" = "zkfc" ] ; then
CLASS='org.apache.hadoop.hdfs.tools.DFSZKFailoverController'
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_ZKFC_OPTS"
......
文件末尾，执行的时候的命令如下
else
# run it
exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"
fi
所以，我们想在IDEA里执行hdfs namenode -format，只需要启动NameNode的main方法的时候，设置好参数就可以了。
当程序执行完毕后，我们从控制台看到的输出如下
Connected to the target VM, address: '127.0.0.1:49792', transport: 'socket'
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
Formatting using clusterid: CID-fd99778b-85d1-4b0e-bbbd-4fd9e93a96ac
Disconnected from the target VM, address: '127.0.0.1:49792', transport: 'socket'
Process finished with exit code 0
到我们配置的hdfs的磁盘目录上去看下内容，发现数据都ok了。
看到网上有人写了hdfs namenode -format整体的执行流程，地址在这里。后续的文章里HDFS的所有常用执行操作我也尽量都去做一下分析。
启动HDFS
查看启动脚本后发现，脚本里是先启动namenode，然后启动datanode的。我们要做的事情就是，在IDEA里分别启动两个进程。namenode和datanode的main函数所在的类前面已经写了，不再重复。启动完毕后，在浏览器里访问50070，就可以看到hdfs已经启动成功了。
最后，如果你在虚拟机上启动了HDFS，想从其他机器上访问，别忘了设置防火墙策略，放行HDFS需要的端口,或者干脆关掉防火墙。
