HADOOP环境搭建示例--2

15、配置hdfs-site.xml

修改hadoop目录下conf/hdfs-site.xml的配置文件,在标签中添加如下内容:

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

    <name>dfs.namenode.name.dir</name>

    <value>/home/${user.name}/dfs_name</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>/home/${user.name}/dfs_data</value>

</property>

<property>

        <name>dfs.support.append</name>

        <value>true</value>

</property>

<property>

        <name>dfs.datanode.max.xcievers</name>

        <value>4096</value>

</property>

说明:

  dfs.replication:文件复本数

  dfs.namenode.name.dir:设置NameNode存储元数据(fsimage)的本地文件系统位置

  dfs.datanode.data.dir:设置DataNode存储数据的本地文件系统位置

  dfs.support.append:设置HDFS是否支持在文件末尾追加数据

  dfs.datanode.max.xcievers:设置datanode可以创建的最大xcievers数

16、配置yarn-site.xml

修改hadoop目录下etc/hadoop/yarn-site.xml的配置文件,在标签中添加如下内容:

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

<property>

  <name>yarn.resourcemanager.hostname</name>

  <value>master</value>

</property>

<property>

  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

  <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

  <name>yarn.timeline-service.hostname</name>

  <value>master</value>

</property>

注:属性名为mapred.job.tracker来配置job tracker交互端口

17、配mapred-site.xml

修改hadoop目录下etc/hadoop/mapred-site.xml的配置文件,在标签中添加如下内容:

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

18、配置子节点

修改hadoop目录etc/hadoop/slave文件,每行一个节点,伪分布式修改内容为:

HDP126

HDP127

HDP128

19、把配置好的Hadoop程序复制到其它节点

scp -r /opt/hadoop root@HDP126:/opt/

chown -R hadoop:hadoop /opt/hadoop

20、启动

格式化

第一次使用一个分布式文件系统,需要对其进行格式化:

./bin/hadoop namenode –format

启动Hadoop守护进程:

./sbin/start-all.sh

Hadoop守护进程的日志写入到${HADOOP_LOG_DIR}目录(默认为logs下)。

验证集群

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar randomwriter out

Hadoop自带的WEB管理界面

浏览NameNode和JobTracker的WEB管理界面,它们的地址默认为:

  NameNode -http://HDP125:50070/dfshealth.jsp

  Yarn -http://HDP125:8088

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 3,925评论 0 14
  • 1 目的将hadoop 2.7.1 安装到 166、167、168 三台机器上2 提供环境练习环境192.168....
    灼灼2015阅读 3,639评论 4 40
  • 前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的...
    piziyang12138阅读 2,000评论 0 3
  • 1. Hadoop常用组件: 1. hadoop commons :hadoop基础模块。 2. HDFS:存储数...
    奉先阅读 917评论 0 2
  • 早晨,亲吻儿子和老公出发回太原。 路上边走边想,昨晚接儿子下学边和儿子聊天,儿子高兴地说:他昨天是开学...
    红祺阅读 189评论 0 0

友情链接更多精彩内容