hadoop的安装与操作

Ubuntu16.04-hadoop3.1.0安装与配置
hadoop的配置文件在hadoop/etc/hadoop/下,
重要配置文件hdfs-site.xml
重要配置参数

<!-- 设置dfs块大小，单位b，默认128Mb,设置16M -->
    <property>
        <name>dfs.blocksize</name>
        <value>1677216</value>
    </property>

<!-- 设置dfs最小块大小，单位b，设置1M -->
    <property>
        <name>dfs.namenode.fs-limits.in-block-size</name>
        <value>1048576</value>
    </property>
 <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

hadoop/bin/下面是客户端脚本
hadoop/sbin/下面是服务端脚本
第一次启动之前先要格式化namenode
bin/hdfs namenode -format
启动hdfs服务:
sbin/start-dfs.sh
检查是否启动成功
jps
停止hdfsf服务
sbin/stop-dfs.sh

之后如果需要格式化,先停止hdfs服务,
执行bin/hdfs namenode -format
删除datanode下的文件
重启hdfs即可